MPI sobre MOM para suportar log de mensagens pessimista remoto

Detalhes bibliográficos
Autor(a) principal: Machado, Caciano dos Santos
Data de Publicação: 2010
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/27656
Resumo: O aumento crescente no número de processadores das arquiteturas paralelas que estão no topo dos rankings de desempenho, apesar de permitir uma maior capacidade de processamento, também traz consigo um aumento na taxa de falhas diretamente proporcional ao número de processadores. Atualmente, as técnicas de tolerância a falhas com recuperação retroativa são as mais empregadas em aplicações MPI, principalmente a técnica de checkpoint coordenado. No entanto, previsões afirmam que essa última técnica será inadequada para as arquiteturas emergentes. Em contrapartida, as técnicas de log de mensagens possuem características que as tornam mais apropriadas no novo cenário que se estabelece. O presente trabalho consiste em uma proposta de log de mensagens pessimista remoto com checkpoint não-coordenado e a avaliação de desempenho da comunicação MPI sobre Publish/Subscriber no qual se baseia o log de mensagens. O trabalho compreende: um estudo das técnicas de tolerância a falhas mais empregadas em ambientes de alto desempenho e a motivação para a escolha dessa variante de log de mensagens; a proposta de log de mensagens; uma implementação de comunicação Open MPI sobre OpenAMQ e sua respectiva avaliação de desempenho com comunicação tradicional TCP/IP e com o log de mensagens pessimista local da distribuição do Open MPI. Os benchmarks utilizados foram o NetPIPE, o NAS Parallel Benchmarks e a aplicação Virginia Hydrodynamics (VH-1).
id URGS_ad5ff6bd14d4dc1ad0f72582efe88c68
oai_identifier_str oai:www.lume.ufrgs.br:10183/27656
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Machado, Caciano dos SantosNavaux, Philippe Olivier Alexandre2011-02-02T05:59:18Z2010http://hdl.handle.net/10183/27656000763648O aumento crescente no número de processadores das arquiteturas paralelas que estão no topo dos rankings de desempenho, apesar de permitir uma maior capacidade de processamento, também traz consigo um aumento na taxa de falhas diretamente proporcional ao número de processadores. Atualmente, as técnicas de tolerância a falhas com recuperação retroativa são as mais empregadas em aplicações MPI, principalmente a técnica de checkpoint coordenado. No entanto, previsões afirmam que essa última técnica será inadequada para as arquiteturas emergentes. Em contrapartida, as técnicas de log de mensagens possuem características que as tornam mais apropriadas no novo cenário que se estabelece. O presente trabalho consiste em uma proposta de log de mensagens pessimista remoto com checkpoint não-coordenado e a avaliação de desempenho da comunicação MPI sobre Publish/Subscriber no qual se baseia o log de mensagens. O trabalho compreende: um estudo das técnicas de tolerância a falhas mais empregadas em ambientes de alto desempenho e a motivação para a escolha dessa variante de log de mensagens; a proposta de log de mensagens; uma implementação de comunicação Open MPI sobre OpenAMQ e sua respectiva avaliação de desempenho com comunicação tradicional TCP/IP e com o log de mensagens pessimista local da distribuição do Open MPI. Os benchmarks utilizados foram o NetPIPE, o NAS Parallel Benchmarks e a aplicação Virginia Hydrodynamics (VH-1).The growing number of processors in parallel architectures at the top of performance rankings allows a higher processing capacity. However, it also brings an increase in the fault rate which is directly proportional to the number of processors. Nowadays, coordinated checkpoint is the most widely used rollback technique for system recovery in the occurrence of faults in MPI applications. Nevertheless, projections point that this technique will be inappropriate for the emerging architectures. On the other hand, message logging seems to be more appropriate to this new scenario. This work consists in a proposal of pessimistic message logging (remote based) with non-coordinated checkpoint and the performance evaluation of an MPI communication mechanism that works over Publish/Subscriber channels in which the proposed message logging is based. The work is organized as following: an study of fault tolerant techniques used in HPC and the motivation for choosing this variant of message logging; a message logging proposal; an implementation of Open MPI communication over OpenAMQ; performance evaluation and comparision with the tradicional TCP/IP communication and a pessimistic message logging (sender based) from Open MPI distribution. The benchmark set is composed of NetPIPE, NAS Parallel Benchmarks and Virginia Hydrodynamics (VH-1).application/pdfporProcessamento paraleloMpiProgramação paralelaProcessamento : Alto desempenhoHigh performance computingCluster based computingFault tolerancePessimistic message loggingMessage-oriented middlewareMPI sobre MOM para suportar log de mensagens pessimista remotoMPI over MOM to support remote pessimistic message logging info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2010mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT000763648.pdf.txt000763648.pdf.txtExtracted Texttext/plain188710http://www.lume.ufrgs.br/bitstream/10183/27656/2/000763648.pdf.txt1f8d57f79aae9c0eb03c7b1567bdd72dMD52ORIGINAL000763648.pdf000763648.pdfTexto completoapplication/pdf797623http://www.lume.ufrgs.br/bitstream/10183/27656/1/000763648.pdf84a33f37e5a339697630c478d8df7b61MD51THUMBNAIL000763648.pdf.jpg000763648.pdf.jpgGenerated Thumbnailimage/jpeg1040http://www.lume.ufrgs.br/bitstream/10183/27656/3/000763648.pdf.jpg86072885665b932fce56af3f880d84c4MD5310183/276562020-10-21 04:01:19.738135oai:www.lume.ufrgs.br:10183/27656Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532020-10-21T07:01:19Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv MPI sobre MOM para suportar log de mensagens pessimista remoto
dc.title.alternative.en.fl_str_mv MPI over MOM to support remote pessimistic message logging
title MPI sobre MOM para suportar log de mensagens pessimista remoto
spellingShingle MPI sobre MOM para suportar log de mensagens pessimista remoto
Machado, Caciano dos Santos
Processamento paralelo
Mpi
Programação paralela
Processamento : Alto desempenho
High performance computing
Cluster based computing
Fault tolerance
Pessimistic message logging
Message-oriented middleware
title_short MPI sobre MOM para suportar log de mensagens pessimista remoto
title_full MPI sobre MOM para suportar log de mensagens pessimista remoto
title_fullStr MPI sobre MOM para suportar log de mensagens pessimista remoto
title_full_unstemmed MPI sobre MOM para suportar log de mensagens pessimista remoto
title_sort MPI sobre MOM para suportar log de mensagens pessimista remoto
author Machado, Caciano dos Santos
author_facet Machado, Caciano dos Santos
author_role author
dc.contributor.author.fl_str_mv Machado, Caciano dos Santos
dc.contributor.advisor1.fl_str_mv Navaux, Philippe Olivier Alexandre
contributor_str_mv Navaux, Philippe Olivier Alexandre
dc.subject.por.fl_str_mv Processamento paralelo
Mpi
Programação paralela
Processamento : Alto desempenho
topic Processamento paralelo
Mpi
Programação paralela
Processamento : Alto desempenho
High performance computing
Cluster based computing
Fault tolerance
Pessimistic message logging
Message-oriented middleware
dc.subject.eng.fl_str_mv High performance computing
Cluster based computing
Fault tolerance
Pessimistic message logging
Message-oriented middleware
description O aumento crescente no número de processadores das arquiteturas paralelas que estão no topo dos rankings de desempenho, apesar de permitir uma maior capacidade de processamento, também traz consigo um aumento na taxa de falhas diretamente proporcional ao número de processadores. Atualmente, as técnicas de tolerância a falhas com recuperação retroativa são as mais empregadas em aplicações MPI, principalmente a técnica de checkpoint coordenado. No entanto, previsões afirmam que essa última técnica será inadequada para as arquiteturas emergentes. Em contrapartida, as técnicas de log de mensagens possuem características que as tornam mais apropriadas no novo cenário que se estabelece. O presente trabalho consiste em uma proposta de log de mensagens pessimista remoto com checkpoint não-coordenado e a avaliação de desempenho da comunicação MPI sobre Publish/Subscriber no qual se baseia o log de mensagens. O trabalho compreende: um estudo das técnicas de tolerância a falhas mais empregadas em ambientes de alto desempenho e a motivação para a escolha dessa variante de log de mensagens; a proposta de log de mensagens; uma implementação de comunicação Open MPI sobre OpenAMQ e sua respectiva avaliação de desempenho com comunicação tradicional TCP/IP e com o log de mensagens pessimista local da distribuição do Open MPI. Os benchmarks utilizados foram o NetPIPE, o NAS Parallel Benchmarks e a aplicação Virginia Hydrodynamics (VH-1).
publishDate 2010
dc.date.issued.fl_str_mv 2010
dc.date.accessioned.fl_str_mv 2011-02-02T05:59:18Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/27656
dc.identifier.nrb.pt_BR.fl_str_mv 000763648
url http://hdl.handle.net/10183/27656
identifier_str_mv 000763648
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/27656/2/000763648.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/27656/1/000763648.pdf
http://www.lume.ufrgs.br/bitstream/10183/27656/3/000763648.pdf.jpg
bitstream.checksum.fl_str_mv 1f8d57f79aae9c0eb03c7b1567bdd72d
84a33f37e5a339697630c478d8df7b61
86072885665b932fce56af3f880d84c4
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1810085191445643264