Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI
Autor(a) principal: | |
---|---|
Data de Publicação: | 2003 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFRN |
Texto Completo: | https://repositorio.ufrn.br/jspui/handle/123456789/15428 |
Resumo: | The last years have presented an increase in the acceptance and adoption of the parallel processing, as much for scientific computation of high performance as for applications of general intention. This acceptance has been favored mainly for the development of environments with massive parallel processing (MPP - Massively Parallel Processing) and of the distributed computation. A common point between distributed systems and MPPs architectures is the notion of message exchange, that allows the communication between processes. An environment of message exchange consists basically of a communication library that, acting as an extension of the programming languages that allow to the elaboration of applications parallel, such as C, C++ and Fortran. In the development of applications parallel, a basic aspect is on to the analysis of performance of the same ones. Several can be the metric ones used in this analysis: time of execution, efficiency in the use of the processing elements, scalability of the application with respect to the increase in the number of processors or to the increase of the instance of the treat problem. The establishment of models or mechanisms that allow this analysis can be a task sufficiently complicated considering parameters and involved degrees of freedom in the implementation of the parallel application. An joined alternative has been the use of collection tools and visualization of performance data, that allow the user to identify to points of strangulation and sources of inefficiency in an application. For an efficient visualization one becomes necessary to identify and to collect given relative to the execution of the application, stage this called instrumentation. In this work it is presented, initially, a study of the main techniques used in the collection of the performance data, and after that a detailed analysis of the main available tools is made that can be used in architectures parallel of the type to cluster Beowulf with Linux on X86 platform being used libraries of communication based in applications MPI - Message Passing Interface, such as LAM and MPICH. This analysis is validated on applications parallel bars that deal with the problems of the training of neural nets of the type perceptrons using retro-propagation. The gotten conclusions show to the potentiality and easinesses of the analyzed tools. |
id |
UFRN_890449b3a20801e5286d8b166c634c34 |
---|---|
oai_identifier_str |
oai:https://repositorio.ufrn.br:123456789/15428 |
network_acronym_str |
UFRN |
network_name_str |
Repositório Institucional da UFRN |
repository_id_str |
|
spelling |
Fernandes, Cláudio Antônio Costahttp://lattes.cnpq.br/4684371737099907http://lattes.cnpq.br/7325007451912598Bezerra, João Batistahttp://lattes.cnpq.br/5189479609940481Pires, Paulo Sérgio da Mottahttp://lattes.cnpq.br/5093444018164760Melo, Jorge Dantas de2014-12-17T14:56:04Z2007-02-122014-12-17T14:56:04Z2003-09-23FERNANDES, Cláudio Antônio Costa. Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI. 2003. 115 f. Dissertação (Mestrado em Automação e Sistemas; Engenharia de Computação; Telecomunicações) - Universidade Federal do Rio Grande do Norte, Natal, 2003.https://repositorio.ufrn.br/jspui/handle/123456789/15428The last years have presented an increase in the acceptance and adoption of the parallel processing, as much for scientific computation of high performance as for applications of general intention. This acceptance has been favored mainly for the development of environments with massive parallel processing (MPP - Massively Parallel Processing) and of the distributed computation. A common point between distributed systems and MPPs architectures is the notion of message exchange, that allows the communication between processes. An environment of message exchange consists basically of a communication library that, acting as an extension of the programming languages that allow to the elaboration of applications parallel, such as C, C++ and Fortran. In the development of applications parallel, a basic aspect is on to the analysis of performance of the same ones. Several can be the metric ones used in this analysis: time of execution, efficiency in the use of the processing elements, scalability of the application with respect to the increase in the number of processors or to the increase of the instance of the treat problem. The establishment of models or mechanisms that allow this analysis can be a task sufficiently complicated considering parameters and involved degrees of freedom in the implementation of the parallel application. An joined alternative has been the use of collection tools and visualization of performance data, that allow the user to identify to points of strangulation and sources of inefficiency in an application. For an efficient visualization one becomes necessary to identify and to collect given relative to the execution of the application, stage this called instrumentation. In this work it is presented, initially, a study of the main techniques used in the collection of the performance data, and after that a detailed analysis of the main available tools is made that can be used in architectures parallel of the type to cluster Beowulf with Linux on X86 platform being used libraries of communication based in applications MPI - Message Passing Interface, such as LAM and MPICH. This analysis is validated on applications parallel bars that deal with the problems of the training of neural nets of the type perceptrons using retro-propagation. The gotten conclusions show to the potentiality and easinesses of the analyzed tools.Os últimos anos têm apresentado um aumento na aceitação e adoção do processamento paralelo, tanto para computação científica de alto desempenho como para aplicações de propósito geral. Essa aceitação tem sido favorecida principalmente pelo desenvolvimento dos ambientes com processamento maciçamente paralelo (MPP - Massively Parallel Processing) e da computação distribuída. Um ponto comum entre sistemas distribuídos e arquiteturas MPPs é a noção de troca de mensagem, que permite a comunicação entre processos. Um ambiente de troca de mensagem consiste basicamente de uma biblioteca de comunicação que, atuando como uma extensão das linguagens de programação, permite a elaboração de aplicações paralelas, tais como C, C++ e Fortran. No desenvolvimento de aplicações paralelas, um aspecto fundamental esta ligado à análise de desempenho das mesmas. Várias podem ser as métricas utilizadas nesta análise: tempo de execução, eficiência na utilização dos elementos de processamento, escalabilidade da aplicação com respeito ao aumento no número de processadores ou ao aumento da instância do problema tratado. O estabelecimento de modelos ou mecanismos que permitam esta análise pode ser uma tarefa bastante complicada considerando-se parâmetros e graus de liberdade envolvidos na implementação da aplicação paralela. Uma alternativa encontrada tem sido a utilização de ferramentas de coleta e visualização de dados de desempenho, que permitem ao usuário identificar pontos de estrangulamento e fontes de ineficiência em uma aplicação. Para uma visualização eficiente torna-se necessário identificar e coletar dados relativos à execução da aplicação, etapa esta denominada instrumentação. Neste trabalho é apresentado, inicialmente, um estudo das principais técnicas utilizadas na coleta dos dados de desempenho, e em seguida é feita uma análise detalhada das principais ferramentas disponíveis que podem ser utilizadas em arquiteturas paralelas do tipo Cluster Beowulf com Linux sobre plataforma X86 utilizando bibliotecas de comunicação baseadas em aplicações MPI - Message Passing Interface, tais como LAM e MPICH . Esta análise é validada sobre aplicações paralelas que tratam do problema do treinamento de redes neurais do tipo perceptrons usando retropropagação. As conclusões obtidas mostram as potencialidade e facilidades das ferramentas analisadas.Coordenação de Aperfeiçoamento de Pessoal de Nível Superiorapplication/pdfporUniversidade Federal do Rio Grande do NortePrograma de Pós-Graduação em Engenharia ElétricaUFRNBRAutomação e Sistemas; Engenharia de Computação; TelecomunicaçõesProcessamento paraleloAnálise de desempenhoMPI- Message Passing InterfaceCluster BeowulfParallel processingAnalysis of performanceMPI- Message Passing InterfaceCluster beowulfCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEstudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPIinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALClaudioACF.pdfapplication/pdf1310703https://repositorio.ufrn.br/bitstream/123456789/15428/1/ClaudioACF.pdf20942a00fb9b1da452758bbafaf1b59dMD51TEXTClaudioACF.pdf.txtClaudioACF.pdf.txtExtracted texttext/plain210545https://repositorio.ufrn.br/bitstream/123456789/15428/6/ClaudioACF.pdf.txt7b86907e3c454a5014f46fefa6cd7b46MD56THUMBNAILClaudioACF.pdf.jpgClaudioACF.pdf.jpgIM Thumbnailimage/jpeg3147https://repositorio.ufrn.br/bitstream/123456789/15428/7/ClaudioACF.pdf.jpgd0e1de41feb4e8b218d7291e6f51278fMD57123456789/154282017-10-31 15:47:22.853oai:https://repositorio.ufrn.br:123456789/15428Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2017-10-31T18:47:22Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false |
dc.title.por.fl_str_mv |
Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI |
title |
Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI |
spellingShingle |
Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI Fernandes, Cláudio Antônio Costa Processamento paralelo Análise de desempenho MPI- Message Passing Interface Cluster Beowulf Parallel processing Analysis of performance MPI- Message Passing Interface Cluster beowulf CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
title_short |
Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI |
title_full |
Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI |
title_fullStr |
Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI |
title_full_unstemmed |
Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI |
title_sort |
Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI |
author |
Fernandes, Cláudio Antônio Costa |
author_facet |
Fernandes, Cláudio Antônio Costa |
author_role |
author |
dc.contributor.authorID.por.fl_str_mv |
|
dc.contributor.authorLattes.por.fl_str_mv |
http://lattes.cnpq.br/4684371737099907 |
dc.contributor.advisorID.por.fl_str_mv |
|
dc.contributor.advisorLattes.por.fl_str_mv |
http://lattes.cnpq.br/7325007451912598 |
dc.contributor.advisor-co1ID.por.fl_str_mv |
|
dc.contributor.referees1.pt_BR.fl_str_mv |
Pires, Paulo Sérgio da Motta |
dc.contributor.referees1ID.por.fl_str_mv |
|
dc.contributor.referees1Lattes.por.fl_str_mv |
http://lattes.cnpq.br/5093444018164760 |
dc.contributor.author.fl_str_mv |
Fernandes, Cláudio Antônio Costa |
dc.contributor.advisor-co1.fl_str_mv |
Bezerra, João Batista |
dc.contributor.advisor-co1Lattes.fl_str_mv |
http://lattes.cnpq.br/5189479609940481 |
dc.contributor.advisor1.fl_str_mv |
Melo, Jorge Dantas de |
contributor_str_mv |
Bezerra, João Batista Melo, Jorge Dantas de |
dc.subject.por.fl_str_mv |
Processamento paralelo Análise de desempenho MPI- Message Passing Interface Cluster Beowulf |
topic |
Processamento paralelo Análise de desempenho MPI- Message Passing Interface Cluster Beowulf Parallel processing Analysis of performance MPI- Message Passing Interface Cluster beowulf CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
dc.subject.eng.fl_str_mv |
Parallel processing Analysis of performance MPI- Message Passing Interface Cluster beowulf |
dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
description |
The last years have presented an increase in the acceptance and adoption of the parallel processing, as much for scientific computation of high performance as for applications of general intention. This acceptance has been favored mainly for the development of environments with massive parallel processing (MPP - Massively Parallel Processing) and of the distributed computation. A common point between distributed systems and MPPs architectures is the notion of message exchange, that allows the communication between processes. An environment of message exchange consists basically of a communication library that, acting as an extension of the programming languages that allow to the elaboration of applications parallel, such as C, C++ and Fortran. In the development of applications parallel, a basic aspect is on to the analysis of performance of the same ones. Several can be the metric ones used in this analysis: time of execution, efficiency in the use of the processing elements, scalability of the application with respect to the increase in the number of processors or to the increase of the instance of the treat problem. The establishment of models or mechanisms that allow this analysis can be a task sufficiently complicated considering parameters and involved degrees of freedom in the implementation of the parallel application. An joined alternative has been the use of collection tools and visualization of performance data, that allow the user to identify to points of strangulation and sources of inefficiency in an application. For an efficient visualization one becomes necessary to identify and to collect given relative to the execution of the application, stage this called instrumentation. In this work it is presented, initially, a study of the main techniques used in the collection of the performance data, and after that a detailed analysis of the main available tools is made that can be used in architectures parallel of the type to cluster Beowulf with Linux on X86 platform being used libraries of communication based in applications MPI - Message Passing Interface, such as LAM and MPICH. This analysis is validated on applications parallel bars that deal with the problems of the training of neural nets of the type perceptrons using retro-propagation. The gotten conclusions show to the potentiality and easinesses of the analyzed tools. |
publishDate |
2003 |
dc.date.issued.fl_str_mv |
2003-09-23 |
dc.date.available.fl_str_mv |
2007-02-12 2014-12-17T14:56:04Z |
dc.date.accessioned.fl_str_mv |
2014-12-17T14:56:04Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
FERNANDES, Cláudio Antônio Costa. Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI. 2003. 115 f. Dissertação (Mestrado em Automação e Sistemas; Engenharia de Computação; Telecomunicações) - Universidade Federal do Rio Grande do Norte, Natal, 2003. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufrn.br/jspui/handle/123456789/15428 |
identifier_str_mv |
FERNANDES, Cláudio Antônio Costa. Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI. 2003. 115 f. Dissertação (Mestrado em Automação e Sistemas; Engenharia de Computação; Telecomunicações) - Universidade Federal do Rio Grande do Norte, Natal, 2003. |
url |
https://repositorio.ufrn.br/jspui/handle/123456789/15428 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia Elétrica |
dc.publisher.initials.fl_str_mv |
UFRN |
dc.publisher.country.fl_str_mv |
BR |
dc.publisher.department.fl_str_mv |
Automação e Sistemas; Engenharia de Computação; Telecomunicações |
publisher.none.fl_str_mv |
Universidade Federal do Rio Grande do Norte |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRN instname:Universidade Federal do Rio Grande do Norte (UFRN) instacron:UFRN |
instname_str |
Universidade Federal do Rio Grande do Norte (UFRN) |
instacron_str |
UFRN |
institution |
UFRN |
reponame_str |
Repositório Institucional da UFRN |
collection |
Repositório Institucional da UFRN |
bitstream.url.fl_str_mv |
https://repositorio.ufrn.br/bitstream/123456789/15428/1/ClaudioACF.pdf https://repositorio.ufrn.br/bitstream/123456789/15428/6/ClaudioACF.pdf.txt https://repositorio.ufrn.br/bitstream/123456789/15428/7/ClaudioACF.pdf.jpg |
bitstream.checksum.fl_str_mv |
20942a00fb9b1da452758bbafaf1b59d 7b86907e3c454a5014f46fefa6cd7b46 d0e1de41feb4e8b218d7291e6f51278f |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN) |
repository.mail.fl_str_mv |
|
_version_ |
1802117914841579520 |