Otimização de desempenho do Hadoop MapReduce: um caso prático

Detalhes bibliográficos
Autor(a) principal: Kuss, Elder Lucas
Data de Publicação: 2017
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/15938
Resumo: Com a popularização da Internet, quantidades massivas de dados têm sido geradas diariamente, principalmente nas mídias sociais. A crescente demanda pelo gerenciamento de grandes volumes de dados fez com que novas soluções fossem desenvolvidas. Atualmente o Hadoop é uma das soluções mais empregadas. Algumas configurações podem ser aplicadas no Hadoop para extrair um melhor desempenho. Este trabalho realiza um estudo sobre a influência dos parâmetros de configuração na performance do Hadoop MapReduce, utilizando para isso um cluster virtualizado no ambiente Docker para o desenvolvimento de testes. Os resultados obtidos nesse trabalho demonstram que é possível alcançar melhorias de desempenho no Hadoop por meio do tuning dos valores de seus parâmetros de configuração.
id UTFPR-12_e4557d7a7abbc34c76a6ccd7245e8968
oai_identifier_str oai:repositorio.utfpr.edu.br:1/15938
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling 2020-11-19T18:23:18Z2020-11-19T18:23:18Z2017-06-08KUSS, Elder Lucas. Otimização de desempenho do Hadoop MapReduce: um caso prático. 2017. 64 f. Trabalho de Conclusão de Curso (Graduação) - Universidade Tecnológica Federal do Paraná, Ponta Grossa, 2017.http://repositorio.utfpr.edu.br/jspui/handle/1/15938Com a popularização da Internet, quantidades massivas de dados têm sido geradas diariamente, principalmente nas mídias sociais. A crescente demanda pelo gerenciamento de grandes volumes de dados fez com que novas soluções fossem desenvolvidas. Atualmente o Hadoop é uma das soluções mais empregadas. Algumas configurações podem ser aplicadas no Hadoop para extrair um melhor desempenho. Este trabalho realiza um estudo sobre a influência dos parâmetros de configuração na performance do Hadoop MapReduce, utilizando para isso um cluster virtualizado no ambiente Docker para o desenvolvimento de testes. Os resultados obtidos nesse trabalho demonstram que é possível alcançar melhorias de desempenho no Hadoop por meio do tuning dos valores de seus parâmetros de configuração.With the popularization of the Internet, massive amounts of data have been generated on a daily basis, especially in the social media. The growing demand for managing large volumes of data meant that new solutions were developed. Currently Hadoop is one of the solutions used. Settings can be applied in Hadoop to extract better performance. This paper carries out a study about the influence of configuration parameters on the performance of Hadoop MapReduce, and for reach that goal, uses a virtualized cluster Docker environment for testing development. The results obtained in this paper demonstrate that it is possible to achieve performance improvements in Hadoop by tuning the values of its configuration parameters.porUniversidade Tecnológica Federal do ParanáPonta GrossaCiência da ComputaçãoUTFPRBrasilDepartamento Acadêmico de InformáticaCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOFluxo de dados (Computadores)Estrutura de domínioSistemas de parâmetros distribuídosData flow computingDomain structureDistributed parameter systemsOtimização de desempenho do Hadoop MapReduce: um caso práticoOptimizing performance Hadoop MapReduce: a case studyinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisPonta GrossaBini, Tarcizio AlexandreBini, Tarcizio AlexandreAlmeida, Simone deRibeiro, Richard DuarteKuss, Elder Lucasinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPRLICENSElicense.txttext/plain1290http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/15938/1/license.txtb9d82215ab23456fa2d8b49c5df1b95bMD51ORIGINALPG_COCIC_2017_1_05.pdfapplication/pdf1904309http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/15938/2/PG_COCIC_2017_1_05.pdf84b3c36505cff4794f841f00e8616c09MD52TEXTPG_COCIC_2017_1_05.pdf.txtExtracted texttext/plain99541http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/15938/3/PG_COCIC_2017_1_05.pdf.txtcde51c4dd9d2b4456f7c4ac515da6a49MD53THUMBNAILPG_COCIC_2017_1_05.pdf.jpgGenerated Thumbnailimage/jpeg1289http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/15938/4/PG_COCIC_2017_1_05.pdf.jpg49dceee5cc1a042c814cd128a670f5d3MD541/159382020-11-19 16:23:18.995oai:repositorio.utfpr.edu.br:1/15938TmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGRlIGF1dG9yIGRhIHB1YmxpY2HDp8OjbywgYXV0b3Jpem8gYSBVVEZQUiBhIHZlaWN1bGFyLCAKYXRyYXbDqXMgZG8gUG9ydGFsIGRlIEluZm9ybWHDp8OjbyBlbSBBY2Vzc28gQWJlcnRvIChQSUFBKSBlIGRvcyBDYXTDoWxvZ29zIGRhcyBCaWJsaW90ZWNhcyAKZGVzdGEgSW5zdGl0dWnDp8Ojbywgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBkZSBhY29yZG8gY29tIGEgTGVpIG5vIDkuNjEwLzk4LCAKbyB0ZXh0byBkZXN0YSBvYnJhLCBvYnNlcnZhbmRvIGFzIGNvbmRpw6fDtWVzIGRlIGRpc3BvbmliaWxpemHDp8OjbyByZWdpc3RyYWRhcyBubyBpdGVtIDQgZG8gCuKAnFRlcm1vIGRlIEF1dG9yaXphw6fDo28gcGFyYSBQdWJsaWNhw6fDo28gZGUgVHJhYmFsaG9zIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28gZGUgR3JhZHVhw6fDo28gZSAKRXNwZWNpYWxpemHDp8OjbywgRGlzc2VydGHDp8O1ZXMgZSBUZXNlcyBubyBQb3J0YWwgZGUgSW5mb3JtYcOnw6NvIGUgbm9zIENhdMOhbG9nb3MgRWxldHLDtG5pY29zIGRvIApTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBS4oCdLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkLCB2aXNhbmRvIGEgCmRpdnVsZ2HDp8OjbyBkYSBwcm9kdcOnw6NvIGNpZW50w61maWNhIGJyYXNpbGVpcmEuCgogIEFzIHZpYXMgb3JpZ2luYWlzIGUgYXNzaW5hZGFzIHBlbG8ocykgYXV0b3IoZXMpIGRvIOKAnFRlcm1vIGRlIEF1dG9yaXphw6fDo28gcGFyYSBQdWJsaWNhw6fDo28gZGUgClRyYWJhbGhvcyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvIGRlIEdyYWR1YcOnw6NvIGUgRXNwZWNpYWxpemHDp8OjbywgRGlzc2VydGHDp8O1ZXMgZSBUZXNlcyBubyBQb3J0YWwgCmRlIEluZm9ybWHDp8OjbyBlIG5vcyBDYXTDoWxvZ29zIEVsZXRyw7RuaWNvcyBkbyBTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBS4oCdIGUgZGEg4oCcRGVjbGFyYcOnw6NvIApkZSBBdXRvcmlh4oCdIGVuY29udHJhbS1zZSBhcnF1aXZhZGFzIG5hIEJpYmxpb3RlY2EgZG8gQ8OibXB1cyBubyBxdWFsIG8gdHJhYmFsaG8gZm9pIGRlZmVuZGlkby4gCk5vIGNhc28gZGUgcHVibGljYcOnw7VlcyBkZSBhdXRvcmlhIGNvbGV0aXZhIGUgbXVsdGljw6JtcHVzLCBvcyBkb2N1bWVudG9zIGZpY2Fyw6NvIHNvYiBndWFyZGEgZGEgCkJpYmxpb3RlY2EgY29tIGEgcXVhbCBvIOKAnHByaW1laXJvIGF1dG9y4oCdIHBvc3N1YSB2w61uY3Vsby4KRepositório de PublicaçõesPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestopendoar:2020-11-19T18:23:18Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.pt_BR.fl_str_mv Otimização de desempenho do Hadoop MapReduce: um caso prático
dc.title.alternative.pt_BR.fl_str_mv Optimizing performance Hadoop MapReduce: a case study
title Otimização de desempenho do Hadoop MapReduce: um caso prático
spellingShingle Otimização de desempenho do Hadoop MapReduce: um caso prático
Kuss, Elder Lucas
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Fluxo de dados (Computadores)
Estrutura de domínio
Sistemas de parâmetros distribuídos
Data flow computing
Domain structure
Distributed parameter systems
title_short Otimização de desempenho do Hadoop MapReduce: um caso prático
title_full Otimização de desempenho do Hadoop MapReduce: um caso prático
title_fullStr Otimização de desempenho do Hadoop MapReduce: um caso prático
title_full_unstemmed Otimização de desempenho do Hadoop MapReduce: um caso prático
title_sort Otimização de desempenho do Hadoop MapReduce: um caso prático
author Kuss, Elder Lucas
author_facet Kuss, Elder Lucas
author_role author
dc.contributor.advisor1.fl_str_mv Bini, Tarcizio Alexandre
dc.contributor.referee1.fl_str_mv Bini, Tarcizio Alexandre
dc.contributor.referee2.fl_str_mv Almeida, Simone de
dc.contributor.referee3.fl_str_mv Ribeiro, Richard Duarte
dc.contributor.author.fl_str_mv Kuss, Elder Lucas
contributor_str_mv Bini, Tarcizio Alexandre
Bini, Tarcizio Alexandre
Almeida, Simone de
Ribeiro, Richard Duarte
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Fluxo de dados (Computadores)
Estrutura de domínio
Sistemas de parâmetros distribuídos
Data flow computing
Domain structure
Distributed parameter systems
dc.subject.por.fl_str_mv Fluxo de dados (Computadores)
Estrutura de domínio
Sistemas de parâmetros distribuídos
Data flow computing
Domain structure
Distributed parameter systems
description Com a popularização da Internet, quantidades massivas de dados têm sido geradas diariamente, principalmente nas mídias sociais. A crescente demanda pelo gerenciamento de grandes volumes de dados fez com que novas soluções fossem desenvolvidas. Atualmente o Hadoop é uma das soluções mais empregadas. Algumas configurações podem ser aplicadas no Hadoop para extrair um melhor desempenho. Este trabalho realiza um estudo sobre a influência dos parâmetros de configuração na performance do Hadoop MapReduce, utilizando para isso um cluster virtualizado no ambiente Docker para o desenvolvimento de testes. Os resultados obtidos nesse trabalho demonstram que é possível alcançar melhorias de desempenho no Hadoop por meio do tuning dos valores de seus parâmetros de configuração.
publishDate 2017
dc.date.issued.fl_str_mv 2017-06-08
dc.date.accessioned.fl_str_mv 2020-11-19T18:23:18Z
dc.date.available.fl_str_mv 2020-11-19T18:23:18Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv KUSS, Elder Lucas. Otimização de desempenho do Hadoop MapReduce: um caso prático. 2017. 64 f. Trabalho de Conclusão de Curso (Graduação) - Universidade Tecnológica Federal do Paraná, Ponta Grossa, 2017.
dc.identifier.uri.fl_str_mv http://repositorio.utfpr.edu.br/jspui/handle/1/15938
identifier_str_mv KUSS, Elder Lucas. Otimização de desempenho do Hadoop MapReduce: um caso prático. 2017. 64 f. Trabalho de Conclusão de Curso (Graduação) - Universidade Tecnológica Federal do Paraná, Ponta Grossa, 2017.
url http://repositorio.utfpr.edu.br/jspui/handle/1/15938
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Ponta Grossa
dc.publisher.program.fl_str_mv Ciência da Computação
dc.publisher.initials.fl_str_mv UTFPR
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Departamento Acadêmico de Informática
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Ponta Grossa
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
bitstream.url.fl_str_mv http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/15938/1/license.txt
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/15938/2/PG_COCIC_2017_1_05.pdf
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/15938/3/PG_COCIC_2017_1_05.pdf.txt
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/15938/4/PG_COCIC_2017_1_05.pdf.jpg
bitstream.checksum.fl_str_mv b9d82215ab23456fa2d8b49c5df1b95b
84b3c36505cff4794f841f00e8616c09
cde51c4dd9d2b4456f7c4ac515da6a49
49dceee5cc1a042c814cd128a670f5d3
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv
_version_ 1805922932673740800

Registros relacionados