Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI

Detalhes bibliográficos
Autor(a) principal: Fernandes, Cláudio Antônio Costa
Data de Publicação: 2003
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFRN
Texto Completo: https://repositorio.ufrn.br/jspui/handle/123456789/15428
Resumo: The last years have presented an increase in the acceptance and adoption of the parallel processing, as much for scientific computation of high performance as for applications of general intention. This acceptance has been favored mainly for the development of environments with massive parallel processing (MPP - Massively Parallel Processing) and of the distributed computation. A common point between distributed systems and MPPs architectures is the notion of message exchange, that allows the communication between processes. An environment of message exchange consists basically of a communication library that, acting as an extension of the programming languages that allow to the elaboration of applications parallel, such as C, C++ and Fortran. In the development of applications parallel, a basic aspect is on to the analysis of performance of the same ones. Several can be the metric ones used in this analysis: time of execution, efficiency in the use of the processing elements, scalability of the application with respect to the increase in the number of processors or to the increase of the instance of the treat problem. The establishment of models or mechanisms that allow this analysis can be a task sufficiently complicated considering parameters and involved degrees of freedom in the implementation of the parallel application. An joined alternative has been the use of collection tools and visualization of performance data, that allow the user to identify to points of strangulation and sources of inefficiency in an application. For an efficient visualization one becomes necessary to identify and to collect given relative to the execution of the application, stage this called instrumentation. In this work it is presented, initially, a study of the main techniques used in the collection of the performance data, and after that a detailed analysis of the main available tools is made that can be used in architectures parallel of the type to cluster Beowulf with Linux on X86 platform being used libraries of communication based in applications MPI - Message Passing Interface, such as LAM and MPICH. This analysis is validated on applications parallel bars that deal with the problems of the training of neural nets of the type perceptrons using retro-propagation. The gotten conclusions show to the potentiality and easinesses of the analyzed tools.
id UFRN_890449b3a20801e5286d8b166c634c34
oai_identifier_str oai:https://repositorio.ufrn.br:123456789/15428
network_acronym_str UFRN
network_name_str Repositório Institucional da UFRN
repository_id_str
spelling Fernandes, Cláudio Antônio Costahttp://lattes.cnpq.br/4684371737099907http://lattes.cnpq.br/7325007451912598Bezerra, João Batistahttp://lattes.cnpq.br/5189479609940481Pires, Paulo Sérgio da Mottahttp://lattes.cnpq.br/5093444018164760Melo, Jorge Dantas de2014-12-17T14:56:04Z2007-02-122014-12-17T14:56:04Z2003-09-23FERNANDES, Cláudio Antônio Costa. Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI. 2003. 115 f. Dissertação (Mestrado em Automação e Sistemas; Engenharia de Computação; Telecomunicações) - Universidade Federal do Rio Grande do Norte, Natal, 2003.https://repositorio.ufrn.br/jspui/handle/123456789/15428The last years have presented an increase in the acceptance and adoption of the parallel processing, as much for scientific computation of high performance as for applications of general intention. This acceptance has been favored mainly for the development of environments with massive parallel processing (MPP - Massively Parallel Processing) and of the distributed computation. A common point between distributed systems and MPPs architectures is the notion of message exchange, that allows the communication between processes. An environment of message exchange consists basically of a communication library that, acting as an extension of the programming languages that allow to the elaboration of applications parallel, such as C, C++ and Fortran. In the development of applications parallel, a basic aspect is on to the analysis of performance of the same ones. Several can be the metric ones used in this analysis: time of execution, efficiency in the use of the processing elements, scalability of the application with respect to the increase in the number of processors or to the increase of the instance of the treat problem. The establishment of models or mechanisms that allow this analysis can be a task sufficiently complicated considering parameters and involved degrees of freedom in the implementation of the parallel application. An joined alternative has been the use of collection tools and visualization of performance data, that allow the user to identify to points of strangulation and sources of inefficiency in an application. For an efficient visualization one becomes necessary to identify and to collect given relative to the execution of the application, stage this called instrumentation. In this work it is presented, initially, a study of the main techniques used in the collection of the performance data, and after that a detailed analysis of the main available tools is made that can be used in architectures parallel of the type to cluster Beowulf with Linux on X86 platform being used libraries of communication based in applications MPI - Message Passing Interface, such as LAM and MPICH. This analysis is validated on applications parallel bars that deal with the problems of the training of neural nets of the type perceptrons using retro-propagation. The gotten conclusions show to the potentiality and easinesses of the analyzed tools.Os últimos anos têm apresentado um aumento na aceitação e adoção do processamento paralelo, tanto para computação científica de alto desempenho como para aplicações de propósito geral. Essa aceitação tem sido favorecida principalmente pelo desenvolvimento dos ambientes com processamento maciçamente paralelo (MPP - Massively Parallel Processing) e da computação distribuída. Um ponto comum entre sistemas distribuídos e arquiteturas MPPs é a noção de troca de mensagem, que permite a comunicação entre processos. Um ambiente de troca de mensagem consiste basicamente de uma biblioteca de comunicação que, atuando como uma extensão das linguagens de programação, permite a elaboração de aplicações paralelas, tais como C, C++ e Fortran. No desenvolvimento de aplicações paralelas, um aspecto fundamental esta ligado à análise de desempenho das mesmas. Várias podem ser as métricas utilizadas nesta análise: tempo de execução, eficiência na utilização dos elementos de processamento, escalabilidade da aplicação com respeito ao aumento no número de processadores ou ao aumento da instância do problema tratado. O estabelecimento de modelos ou mecanismos que permitam esta análise pode ser uma tarefa bastante complicada considerando-se parâmetros e graus de liberdade envolvidos na implementação da aplicação paralela. Uma alternativa encontrada tem sido a utilização de ferramentas de coleta e visualização de dados de desempenho, que permitem ao usuário identificar pontos de estrangulamento e fontes de ineficiência em uma aplicação. Para uma visualização eficiente torna-se necessário identificar e coletar dados relativos à execução da aplicação, etapa esta denominada instrumentação. Neste trabalho é apresentado, inicialmente, um estudo das principais técnicas utilizadas na coleta dos dados de desempenho, e em seguida é feita uma análise detalhada das principais ferramentas disponíveis que podem ser utilizadas em arquiteturas paralelas do tipo Cluster Beowulf com Linux sobre plataforma X86 utilizando bibliotecas de comunicação baseadas em aplicações MPI - Message Passing Interface, tais como LAM e MPICH . Esta análise é validada sobre aplicações paralelas que tratam do problema do treinamento de redes neurais do tipo perceptrons usando retropropagação. As conclusões obtidas mostram as potencialidade e facilidades das ferramentas analisadas.Coordenação de Aperfeiçoamento de Pessoal de Nível Superiorapplication/pdfporUniversidade Federal do Rio Grande do NortePrograma de Pós-Graduação em Engenharia ElétricaUFRNBRAutomação e Sistemas; Engenharia de Computação; TelecomunicaçõesProcessamento paraleloAnálise de desempenhoMPI- Message Passing InterfaceCluster BeowulfParallel processingAnalysis of performanceMPI- Message Passing InterfaceCluster beowulfCNPQ::ENGENHARIAS::ENGENHARIA ELETRICAEstudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPIinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRNinstname:Universidade Federal do Rio Grande do Norte (UFRN)instacron:UFRNORIGINALClaudioACF.pdfapplication/pdf1310703https://repositorio.ufrn.br/bitstream/123456789/15428/1/ClaudioACF.pdf20942a00fb9b1da452758bbafaf1b59dMD51TEXTClaudioACF.pdf.txtClaudioACF.pdf.txtExtracted texttext/plain210545https://repositorio.ufrn.br/bitstream/123456789/15428/6/ClaudioACF.pdf.txt7b86907e3c454a5014f46fefa6cd7b46MD56THUMBNAILClaudioACF.pdf.jpgClaudioACF.pdf.jpgIM Thumbnailimage/jpeg3147https://repositorio.ufrn.br/bitstream/123456789/15428/7/ClaudioACF.pdf.jpgd0e1de41feb4e8b218d7291e6f51278fMD57123456789/154282017-10-31 15:47:22.853oai:https://repositorio.ufrn.br:123456789/15428Repositório de PublicaçõesPUBhttp://repositorio.ufrn.br/oai/opendoar:2017-10-31T18:47:22Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)false
dc.title.por.fl_str_mv Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI
title Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI
spellingShingle Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI
Fernandes, Cláudio Antônio Costa
Processamento paralelo
Análise de desempenho
MPI- Message Passing Interface
Cluster Beowulf
Parallel processing
Analysis of performance
MPI- Message Passing Interface
Cluster beowulf
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
title_short Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI
title_full Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI
title_fullStr Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI
title_full_unstemmed Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI
title_sort Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI
author Fernandes, Cláudio Antônio Costa
author_facet Fernandes, Cláudio Antônio Costa
author_role author
dc.contributor.authorID.por.fl_str_mv
dc.contributor.authorLattes.por.fl_str_mv http://lattes.cnpq.br/4684371737099907
dc.contributor.advisorID.por.fl_str_mv
dc.contributor.advisorLattes.por.fl_str_mv http://lattes.cnpq.br/7325007451912598
dc.contributor.advisor-co1ID.por.fl_str_mv
dc.contributor.referees1.pt_BR.fl_str_mv Pires, Paulo Sérgio da Motta
dc.contributor.referees1ID.por.fl_str_mv
dc.contributor.referees1Lattes.por.fl_str_mv http://lattes.cnpq.br/5093444018164760
dc.contributor.author.fl_str_mv Fernandes, Cláudio Antônio Costa
dc.contributor.advisor-co1.fl_str_mv Bezerra, João Batista
dc.contributor.advisor-co1Lattes.fl_str_mv http://lattes.cnpq.br/5189479609940481
dc.contributor.advisor1.fl_str_mv Melo, Jorge Dantas de
contributor_str_mv Bezerra, João Batista
Melo, Jorge Dantas de
dc.subject.por.fl_str_mv Processamento paralelo
Análise de desempenho
MPI- Message Passing Interface
Cluster Beowulf
topic Processamento paralelo
Análise de desempenho
MPI- Message Passing Interface
Cluster Beowulf
Parallel processing
Analysis of performance
MPI- Message Passing Interface
Cluster beowulf
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
dc.subject.eng.fl_str_mv Parallel processing
Analysis of performance
MPI- Message Passing Interface
Cluster beowulf
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
description The last years have presented an increase in the acceptance and adoption of the parallel processing, as much for scientific computation of high performance as for applications of general intention. This acceptance has been favored mainly for the development of environments with massive parallel processing (MPP - Massively Parallel Processing) and of the distributed computation. A common point between distributed systems and MPPs architectures is the notion of message exchange, that allows the communication between processes. An environment of message exchange consists basically of a communication library that, acting as an extension of the programming languages that allow to the elaboration of applications parallel, such as C, C++ and Fortran. In the development of applications parallel, a basic aspect is on to the analysis of performance of the same ones. Several can be the metric ones used in this analysis: time of execution, efficiency in the use of the processing elements, scalability of the application with respect to the increase in the number of processors or to the increase of the instance of the treat problem. The establishment of models or mechanisms that allow this analysis can be a task sufficiently complicated considering parameters and involved degrees of freedom in the implementation of the parallel application. An joined alternative has been the use of collection tools and visualization of performance data, that allow the user to identify to points of strangulation and sources of inefficiency in an application. For an efficient visualization one becomes necessary to identify and to collect given relative to the execution of the application, stage this called instrumentation. In this work it is presented, initially, a study of the main techniques used in the collection of the performance data, and after that a detailed analysis of the main available tools is made that can be used in architectures parallel of the type to cluster Beowulf with Linux on X86 platform being used libraries of communication based in applications MPI - Message Passing Interface, such as LAM and MPICH. This analysis is validated on applications parallel bars that deal with the problems of the training of neural nets of the type perceptrons using retro-propagation. The gotten conclusions show to the potentiality and easinesses of the analyzed tools.
publishDate 2003
dc.date.issued.fl_str_mv 2003-09-23
dc.date.available.fl_str_mv 2007-02-12
2014-12-17T14:56:04Z
dc.date.accessioned.fl_str_mv 2014-12-17T14:56:04Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv FERNANDES, Cláudio Antônio Costa. Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI. 2003. 115 f. Dissertação (Mestrado em Automação e Sistemas; Engenharia de Computação; Telecomunicações) - Universidade Federal do Rio Grande do Norte, Natal, 2003.
dc.identifier.uri.fl_str_mv https://repositorio.ufrn.br/jspui/handle/123456789/15428
identifier_str_mv FERNANDES, Cláudio Antônio Costa. Estudos de algumas ferramentas de coleta e visualização de dados e desempenho de aplicações paralelas no ambiente MPI. 2003. 115 f. Dissertação (Mestrado em Automação e Sistemas; Engenharia de Computação; Telecomunicações) - Universidade Federal do Rio Grande do Norte, Natal, 2003.
url https://repositorio.ufrn.br/jspui/handle/123456789/15428
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFRN
dc.publisher.country.fl_str_mv BR
dc.publisher.department.fl_str_mv Automação e Sistemas; Engenharia de Computação; Telecomunicações
publisher.none.fl_str_mv Universidade Federal do Rio Grande do Norte
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRN
instname:Universidade Federal do Rio Grande do Norte (UFRN)
instacron:UFRN
instname_str Universidade Federal do Rio Grande do Norte (UFRN)
instacron_str UFRN
institution UFRN
reponame_str Repositório Institucional da UFRN
collection Repositório Institucional da UFRN
bitstream.url.fl_str_mv https://repositorio.ufrn.br/bitstream/123456789/15428/1/ClaudioACF.pdf
https://repositorio.ufrn.br/bitstream/123456789/15428/6/ClaudioACF.pdf.txt
https://repositorio.ufrn.br/bitstream/123456789/15428/7/ClaudioACF.pdf.jpg
bitstream.checksum.fl_str_mv 20942a00fb9b1da452758bbafaf1b59d
7b86907e3c454a5014f46fefa6cd7b46
d0e1de41feb4e8b218d7291e6f51278f
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRN - Universidade Federal do Rio Grande do Norte (UFRN)
repository.mail.fl_str_mv
_version_ 1802117914841579520