MPI sobre MOM para suportar log de mensagens pessimista remoto
Autor(a) principal: | |
---|---|
Data de Publicação: | 2010 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da UFRGS |
Texto Completo: | http://hdl.handle.net/10183/27656 |
Resumo: | O aumento crescente no número de processadores das arquiteturas paralelas que estão no topo dos rankings de desempenho, apesar de permitir uma maior capacidade de processamento, também traz consigo um aumento na taxa de falhas diretamente proporcional ao número de processadores. Atualmente, as técnicas de tolerância a falhas com recuperação retroativa são as mais empregadas em aplicações MPI, principalmente a técnica de checkpoint coordenado. No entanto, previsões afirmam que essa última técnica será inadequada para as arquiteturas emergentes. Em contrapartida, as técnicas de log de mensagens possuem características que as tornam mais apropriadas no novo cenário que se estabelece. O presente trabalho consiste em uma proposta de log de mensagens pessimista remoto com checkpoint não-coordenado e a avaliação de desempenho da comunicação MPI sobre Publish/Subscriber no qual se baseia o log de mensagens. O trabalho compreende: um estudo das técnicas de tolerância a falhas mais empregadas em ambientes de alto desempenho e a motivação para a escolha dessa variante de log de mensagens; a proposta de log de mensagens; uma implementação de comunicação Open MPI sobre OpenAMQ e sua respectiva avaliação de desempenho com comunicação tradicional TCP/IP e com o log de mensagens pessimista local da distribuição do Open MPI. Os benchmarks utilizados foram o NetPIPE, o NAS Parallel Benchmarks e a aplicação Virginia Hydrodynamics (VH-1). |
id |
URGS_ad5ff6bd14d4dc1ad0f72582efe88c68 |
---|---|
oai_identifier_str |
oai:www.lume.ufrgs.br:10183/27656 |
network_acronym_str |
URGS |
network_name_str |
Biblioteca Digital de Teses e Dissertações da UFRGS |
repository_id_str |
1853 |
spelling |
Machado, Caciano dos SantosNavaux, Philippe Olivier Alexandre2011-02-02T05:59:18Z2010http://hdl.handle.net/10183/27656000763648O aumento crescente no número de processadores das arquiteturas paralelas que estão no topo dos rankings de desempenho, apesar de permitir uma maior capacidade de processamento, também traz consigo um aumento na taxa de falhas diretamente proporcional ao número de processadores. Atualmente, as técnicas de tolerância a falhas com recuperação retroativa são as mais empregadas em aplicações MPI, principalmente a técnica de checkpoint coordenado. No entanto, previsões afirmam que essa última técnica será inadequada para as arquiteturas emergentes. Em contrapartida, as técnicas de log de mensagens possuem características que as tornam mais apropriadas no novo cenário que se estabelece. O presente trabalho consiste em uma proposta de log de mensagens pessimista remoto com checkpoint não-coordenado e a avaliação de desempenho da comunicação MPI sobre Publish/Subscriber no qual se baseia o log de mensagens. O trabalho compreende: um estudo das técnicas de tolerância a falhas mais empregadas em ambientes de alto desempenho e a motivação para a escolha dessa variante de log de mensagens; a proposta de log de mensagens; uma implementação de comunicação Open MPI sobre OpenAMQ e sua respectiva avaliação de desempenho com comunicação tradicional TCP/IP e com o log de mensagens pessimista local da distribuição do Open MPI. Os benchmarks utilizados foram o NetPIPE, o NAS Parallel Benchmarks e a aplicação Virginia Hydrodynamics (VH-1).The growing number of processors in parallel architectures at the top of performance rankings allows a higher processing capacity. However, it also brings an increase in the fault rate which is directly proportional to the number of processors. Nowadays, coordinated checkpoint is the most widely used rollback technique for system recovery in the occurrence of faults in MPI applications. Nevertheless, projections point that this technique will be inappropriate for the emerging architectures. On the other hand, message logging seems to be more appropriate to this new scenario. This work consists in a proposal of pessimistic message logging (remote based) with non-coordinated checkpoint and the performance evaluation of an MPI communication mechanism that works over Publish/Subscriber channels in which the proposed message logging is based. The work is organized as following: an study of fault tolerant techniques used in HPC and the motivation for choosing this variant of message logging; a message logging proposal; an implementation of Open MPI communication over OpenAMQ; performance evaluation and comparision with the tradicional TCP/IP communication and a pessimistic message logging (sender based) from Open MPI distribution. The benchmark set is composed of NetPIPE, NAS Parallel Benchmarks and Virginia Hydrodynamics (VH-1).application/pdfporProcessamento paraleloMpiProgramação paralelaProcessamento : Alto desempenhoHigh performance computingCluster based computingFault tolerancePessimistic message loggingMessage-oriented middlewareMPI sobre MOM para suportar log de mensagens pessimista remotoMPI over MOM to support remote pessimistic message logging info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2010mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT000763648.pdf.txt000763648.pdf.txtExtracted Texttext/plain188710http://www.lume.ufrgs.br/bitstream/10183/27656/2/000763648.pdf.txt1f8d57f79aae9c0eb03c7b1567bdd72dMD52ORIGINAL000763648.pdf000763648.pdfTexto completoapplication/pdf797623http://www.lume.ufrgs.br/bitstream/10183/27656/1/000763648.pdf84a33f37e5a339697630c478d8df7b61MD51THUMBNAIL000763648.pdf.jpg000763648.pdf.jpgGenerated Thumbnailimage/jpeg1040http://www.lume.ufrgs.br/bitstream/10183/27656/3/000763648.pdf.jpg86072885665b932fce56af3f880d84c4MD5310183/276562020-10-21 04:01:19.738135oai:www.lume.ufrgs.br:10183/27656Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532020-10-21T07:01:19Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false |
dc.title.pt_BR.fl_str_mv |
MPI sobre MOM para suportar log de mensagens pessimista remoto |
dc.title.alternative.en.fl_str_mv |
MPI over MOM to support remote pessimistic message logging |
title |
MPI sobre MOM para suportar log de mensagens pessimista remoto |
spellingShingle |
MPI sobre MOM para suportar log de mensagens pessimista remoto Machado, Caciano dos Santos Processamento paralelo Mpi Programação paralela Processamento : Alto desempenho High performance computing Cluster based computing Fault tolerance Pessimistic message logging Message-oriented middleware |
title_short |
MPI sobre MOM para suportar log de mensagens pessimista remoto |
title_full |
MPI sobre MOM para suportar log de mensagens pessimista remoto |
title_fullStr |
MPI sobre MOM para suportar log de mensagens pessimista remoto |
title_full_unstemmed |
MPI sobre MOM para suportar log de mensagens pessimista remoto |
title_sort |
MPI sobre MOM para suportar log de mensagens pessimista remoto |
author |
Machado, Caciano dos Santos |
author_facet |
Machado, Caciano dos Santos |
author_role |
author |
dc.contributor.author.fl_str_mv |
Machado, Caciano dos Santos |
dc.contributor.advisor1.fl_str_mv |
Navaux, Philippe Olivier Alexandre |
contributor_str_mv |
Navaux, Philippe Olivier Alexandre |
dc.subject.por.fl_str_mv |
Processamento paralelo Mpi Programação paralela Processamento : Alto desempenho |
topic |
Processamento paralelo Mpi Programação paralela Processamento : Alto desempenho High performance computing Cluster based computing Fault tolerance Pessimistic message logging Message-oriented middleware |
dc.subject.eng.fl_str_mv |
High performance computing Cluster based computing Fault tolerance Pessimistic message logging Message-oriented middleware |
description |
O aumento crescente no número de processadores das arquiteturas paralelas que estão no topo dos rankings de desempenho, apesar de permitir uma maior capacidade de processamento, também traz consigo um aumento na taxa de falhas diretamente proporcional ao número de processadores. Atualmente, as técnicas de tolerância a falhas com recuperação retroativa são as mais empregadas em aplicações MPI, principalmente a técnica de checkpoint coordenado. No entanto, previsões afirmam que essa última técnica será inadequada para as arquiteturas emergentes. Em contrapartida, as técnicas de log de mensagens possuem características que as tornam mais apropriadas no novo cenário que se estabelece. O presente trabalho consiste em uma proposta de log de mensagens pessimista remoto com checkpoint não-coordenado e a avaliação de desempenho da comunicação MPI sobre Publish/Subscriber no qual se baseia o log de mensagens. O trabalho compreende: um estudo das técnicas de tolerância a falhas mais empregadas em ambientes de alto desempenho e a motivação para a escolha dessa variante de log de mensagens; a proposta de log de mensagens; uma implementação de comunicação Open MPI sobre OpenAMQ e sua respectiva avaliação de desempenho com comunicação tradicional TCP/IP e com o log de mensagens pessimista local da distribuição do Open MPI. Os benchmarks utilizados foram o NetPIPE, o NAS Parallel Benchmarks e a aplicação Virginia Hydrodynamics (VH-1). |
publishDate |
2010 |
dc.date.issued.fl_str_mv |
2010 |
dc.date.accessioned.fl_str_mv |
2011-02-02T05:59:18Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10183/27656 |
dc.identifier.nrb.pt_BR.fl_str_mv |
000763648 |
url |
http://hdl.handle.net/10183/27656 |
identifier_str_mv |
000763648 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFRGS instname:Universidade Federal do Rio Grande do Sul (UFRGS) instacron:UFRGS |
instname_str |
Universidade Federal do Rio Grande do Sul (UFRGS) |
instacron_str |
UFRGS |
institution |
UFRGS |
reponame_str |
Biblioteca Digital de Teses e Dissertações da UFRGS |
collection |
Biblioteca Digital de Teses e Dissertações da UFRGS |
bitstream.url.fl_str_mv |
http://www.lume.ufrgs.br/bitstream/10183/27656/2/000763648.pdf.txt http://www.lume.ufrgs.br/bitstream/10183/27656/1/000763648.pdf http://www.lume.ufrgs.br/bitstream/10183/27656/3/000763648.pdf.jpg |
bitstream.checksum.fl_str_mv |
1f8d57f79aae9c0eb03c7b1567bdd72d 84a33f37e5a339697630c478d8df7b61 86072885665b932fce56af3f880d84c4 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS) |
repository.mail.fl_str_mv |
lume@ufrgs.br||lume@ufrgs.br |
_version_ |
1810085191445643264 |