Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.

Detalhes bibliográficos
Autor(a) principal: Miyazaki, Alexandre Kenta Salgueiro
Data de Publicação: 2014
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFRGS
Texto Completo: http://hdl.handle.net/10183/100281
Resumo: No mundo computacional, tem-se um aumento constante na demanda de processamento. Há cada vez mais dados a serem processados, de forma que frequentemente eles exigem uma abordagem distribuída para que isto ocorra em um tempo aceitável. O MapReduce é um modelo de programação paralela, que visa facilitar o desenvolvimento deste tipo de aplicação, gerenciando grande parte dos complicadores como comunicação, tolerância a falhas, etc.. No Hadoop, framework open source mais utilizado pela comunidade científica que implementa este modelo, há dois pontos únicos de falha que podem comprometer toda a computação de um job. Tendo isso como inspiração, foi desenvolvido em um trabalho anterior a este uma nova arquitetura para o MapReduce, denominada Maresia, além de um protótipo que a utiliza. Esta arquitetura segue um modelo peer to peer para processar jobs. O objetivo deste trabalho é fazer uma avaliação aprofundada do desempenho do protótipo, analisando o seu comportamento e comparando seus resultados com testes executados em uma arquitetura Mestre/Escravo. Para um melhor comparativo foram implementadas novas funcionalidades durante o trabalho que permitem que ele tenha um fluxo de execução mais semelhante ao Hadoop. Os resultados mostram um protótipo que sofre com alguns pontos ineficientes, principalmente a transmissão de dados intermediários. Além disso, o comparativo com o Hadoop mostra que esta nova arquitetura é bastante promissora, no entanto, seu gargalo precisa ser otimizado.
id UFRGS-2_6b3e6e076e0762191d3566d581cdceef
oai_identifier_str oai:www.lume.ufrgs.br:10183/100281
network_acronym_str UFRGS-2
network_name_str Repositório Institucional da UFRGS
repository_id_str
spelling Miyazaki, Alexandre Kenta SalgueiroGeyer, Claudio Fernando ResinMarcos, Pedro de Botelho2014-08-14T02:10:22Z2014http://hdl.handle.net/10183/100281000931685No mundo computacional, tem-se um aumento constante na demanda de processamento. Há cada vez mais dados a serem processados, de forma que frequentemente eles exigem uma abordagem distribuída para que isto ocorra em um tempo aceitável. O MapReduce é um modelo de programação paralela, que visa facilitar o desenvolvimento deste tipo de aplicação, gerenciando grande parte dos complicadores como comunicação, tolerância a falhas, etc.. No Hadoop, framework open source mais utilizado pela comunidade científica que implementa este modelo, há dois pontos únicos de falha que podem comprometer toda a computação de um job. Tendo isso como inspiração, foi desenvolvido em um trabalho anterior a este uma nova arquitetura para o MapReduce, denominada Maresia, além de um protótipo que a utiliza. Esta arquitetura segue um modelo peer to peer para processar jobs. O objetivo deste trabalho é fazer uma avaliação aprofundada do desempenho do protótipo, analisando o seu comportamento e comparando seus resultados com testes executados em uma arquitetura Mestre/Escravo. Para um melhor comparativo foram implementadas novas funcionalidades durante o trabalho que permitem que ele tenha um fluxo de execução mais semelhante ao Hadoop. Os resultados mostram um protótipo que sofre com alguns pontos ineficientes, principalmente a transmissão de dados intermediários. Além disso, o comparativo com o Hadoop mostra que esta nova arquitetura é bastante promissora, no entanto, seu gargalo precisa ser otimizado.In the computational world, has been a steady increase in demand for processing. There is an increasing amount of data to be processed, that often demand a distributed approach to occurs in an acceptable time. MapReduce is a parallel programming model, which aims to ease the development of this kind of application, managing great part of the complicating factors like communication, fault tolerance, etc.. In Hadoop, the most used open source framework by the scientific community which implements this model, there are two single points of failure that can compromise the process of a job. Having this as inspiration, a previous work has designed a new MapReduce architecture, called Maresia, besides an prototype to use it. This architecture follows a peer to peer model to process jobs. The objective of this work is execute a thorough performance evaluation of the prototype, analyzing it’s behavior and comparing the results with tests performed in a Master/ Slave architecture. For a better comparison, new features has been implemented that allows it to have a workflow more similar to Hadoop. The results shows a prototype that suffers with some inefficient points, mainly the intermediate data transmission. Furthermore, the Hadoop comparison with the model shows that this architecture is quite promising, however, the bottleneck must to be optimized.application/pdfporProcessamento paraleloProcessamento distribuídoP2PMapReduceHadoopMaresiaSPOFProgramação paralelaAvaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPorto Alegre, BR-RS2014Ciência da Computação: Ênfase em Ciência da Computação: Bachareladograduaçãoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSORIGINAL000931685.pdf000931685.pdfTexto completoapplication/pdf1993333http://www.lume.ufrgs.br/bitstream/10183/100281/1/000931685.pdf527c7732e15ba82395ead87d98efc8ddMD51TEXT000931685.pdf.txt000931685.pdf.txtExtracted Texttext/plain149350http://www.lume.ufrgs.br/bitstream/10183/100281/2/000931685.pdf.txt5dea6bc30d0514271e5dfe0560b1d25fMD52THUMBNAIL000931685.pdf.jpg000931685.pdf.jpgGenerated Thumbnailimage/jpeg1069http://www.lume.ufrgs.br/bitstream/10183/100281/3/000931685.pdf.jpg66d2912d50019ffb26d4bc28ed15b9d1MD5310183/1002812022-02-22 05:07:53.308839oai:www.lume.ufrgs.br:10183/100281Repositório de PublicaçõesPUBhttps://lume.ufrgs.br/oai/requestopendoar:2022-02-22T08:07:53Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.
title Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.
spellingShingle Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.
Miyazaki, Alexandre Kenta Salgueiro
Processamento paralelo
Processamento distribuído
P2P
MapReduce
Hadoop
Maresia
SPOF
Programação paralela
title_short Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.
title_full Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.
title_fullStr Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.
title_full_unstemmed Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.
title_sort Avaliação do modelo MapReduce em diferentes arquiteturas : um comparativo entre Hadoop e Maresia.
author Miyazaki, Alexandre Kenta Salgueiro
author_facet Miyazaki, Alexandre Kenta Salgueiro
author_role author
dc.contributor.author.fl_str_mv Miyazaki, Alexandre Kenta Salgueiro
dc.contributor.advisor1.fl_str_mv Geyer, Claudio Fernando Resin
dc.contributor.advisor-co1.fl_str_mv Marcos, Pedro de Botelho
contributor_str_mv Geyer, Claudio Fernando Resin
Marcos, Pedro de Botelho
dc.subject.por.fl_str_mv Processamento paralelo
Processamento distribuído
topic Processamento paralelo
Processamento distribuído
P2P
MapReduce
Hadoop
Maresia
SPOF
Programação paralela
dc.subject.eng.fl_str_mv P2P
MapReduce
Hadoop
Maresia
SPOF
Programação paralela
description No mundo computacional, tem-se um aumento constante na demanda de processamento. Há cada vez mais dados a serem processados, de forma que frequentemente eles exigem uma abordagem distribuída para que isto ocorra em um tempo aceitável. O MapReduce é um modelo de programação paralela, que visa facilitar o desenvolvimento deste tipo de aplicação, gerenciando grande parte dos complicadores como comunicação, tolerância a falhas, etc.. No Hadoop, framework open source mais utilizado pela comunidade científica que implementa este modelo, há dois pontos únicos de falha que podem comprometer toda a computação de um job. Tendo isso como inspiração, foi desenvolvido em um trabalho anterior a este uma nova arquitetura para o MapReduce, denominada Maresia, além de um protótipo que a utiliza. Esta arquitetura segue um modelo peer to peer para processar jobs. O objetivo deste trabalho é fazer uma avaliação aprofundada do desempenho do protótipo, analisando o seu comportamento e comparando seus resultados com testes executados em uma arquitetura Mestre/Escravo. Para um melhor comparativo foram implementadas novas funcionalidades durante o trabalho que permitem que ele tenha um fluxo de execução mais semelhante ao Hadoop. Os resultados mostram um protótipo que sofre com alguns pontos ineficientes, principalmente a transmissão de dados intermediários. Além disso, o comparativo com o Hadoop mostra que esta nova arquitetura é bastante promissora, no entanto, seu gargalo precisa ser otimizado.
publishDate 2014
dc.date.accessioned.fl_str_mv 2014-08-14T02:10:22Z
dc.date.issued.fl_str_mv 2014
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/100281
dc.identifier.nrb.pt_BR.fl_str_mv 000931685
url http://hdl.handle.net/10183/100281
identifier_str_mv 000931685
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Repositório Institucional da UFRGS
collection Repositório Institucional da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/100281/1/000931685.pdf
http://www.lume.ufrgs.br/bitstream/10183/100281/2/000931685.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/100281/3/000931685.pdf.jpg
bitstream.checksum.fl_str_mv 527c7732e15ba82395ead87d98efc8dd
5dea6bc30d0514271e5dfe0560b1d25f
66d2912d50019ffb26d4bc28ed15b9d1
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv
_version_ 1801224469202599936

Registros relacionados