Implementação e análise de desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry

Detalhes bibliográficos
Autor(a) principal: Matos, Elias Rabelo
Data de Publicação: 2018
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFS
Texto Completo: http://ri.ufs.br/jspui/handle/riufs/11109
Resumo: The High Performance Computing (HPC) is the research area responsable for processing data in less time possible. HPC always have a very complex structure, were the cost for build a cluster is over thousands dollars. Because of the high cost, the HPC was been for a long time restricted to universities, military institutions and large companies. However, in recent years, Embedded Systems using ARM Architecture with a satisfactory computing power and low cost, became popular. Then was identified a way possible to make HPC with a low cost and significative power. On this way this work we make a design analysis of matrix multiplication schemes in a low cost embedded cluster in the Raspberry PI platform, using the Apache Hadoop framework and an OpenMPI library.The low performance of Apache Hadoop over OpenMPI was detected in matrix multiplication algorithms. And that is a Java language is dozens times slower than C language.
id UFS-2_a612e0c369cb9440f98b88c87b6e3879
oai_identifier_str oai:ufs.br:riufs/11109
network_acronym_str UFS-2
network_name_str Repositório Institucional da UFS
repository_id_str
spelling Matos, Elias RabeloBispo, Kalil AraujoOrdonez, Edward David Moreno2019-05-07T15:05:04Z2019-05-07T15:05:04Z2018-10-19Matos, Elias Rabelo. Implementação e Análise de Desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry. São Cristóvão, SE, 2018. Monografia (Graduação em Ciência da Computação) – Curso de Ciência da Computação, Departamento de Computação, Centro de Ciências Exatas e Tecnologia, Universidade Federal de Sergipe, 2018http://ri.ufs.br/jspui/handle/riufs/11109The High Performance Computing (HPC) is the research area responsable for processing data in less time possible. HPC always have a very complex structure, were the cost for build a cluster is over thousands dollars. Because of the high cost, the HPC was been for a long time restricted to universities, military institutions and large companies. However, in recent years, Embedded Systems using ARM Architecture with a satisfactory computing power and low cost, became popular. Then was identified a way possible to make HPC with a low cost and significative power. On this way this work we make a design analysis of matrix multiplication schemes in a low cost embedded cluster in the Raspberry PI platform, using the Apache Hadoop framework and an OpenMPI library.The low performance of Apache Hadoop over OpenMPI was detected in matrix multiplication algorithms. And that is a Java language is dozens times slower than C language.A Computação de Alto Desempenho (HPC) é responsável por pesquisar o processamento de dados em um tempo menor possível. A estrutura da HPC sempre foi muito complexa, muitas das vezes custando milhares de dólares para a construção de um cluster. Devido ao alto custo, a HPC esteve por muito tempo concentrada em universidades, instituições militares ou grandes empresas. No entanto, nos últimos anos, com a popularização de Sistemas Embarcados com capacidade de processamento significativa e seguindo a Arquitetura ARM, observou-se uma possibilidade de uso desses sistemas para HPC com desempenho significativo e um baixo custo. Portanto, este trabalho de conclusão de curso se faz análise de desempenho de algoritmos de multiplicação de matrizes executando em um cluster embarcado de baixo custo na plataforma Raspberry PI, usando o framework Apache Hadoop e a biblioteca OpenMPI. Detectou-se um baixo desempenho do Apache Hadoop em relação ao OpenMPI em algoritmos de multiplicação de matrizes. E que a linguagem Java é dezenas de vezes mais lentas do que a linguagem C.São Cristóvão, SEporCiência da computaçãoEnsino de ciência da computaçãoComputação de alto desempenhoClusterSistema distribuídoAvaliação de desempenhoArquitetura ARMHigh performance computingClusterEmbebbed systemARM ArchitecturePerformance evaluationCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAOImplementação e análise de desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberryinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal de SergipeDCOMP - Departamento de Computação – Ciência da Computação – São Cristóvão - Presencialreponame:Repositório Institucional da UFSinstname:Universidade Federal de Sergipe (UFS)instacron:UFSinfo:eu-repo/semantics/openAccessTEXTElias_Rabelo_Matos.pdf.txtElias_Rabelo_Matos.pdf.txtExtracted texttext/plain181010https://ri.ufs.br/jspui/bitstream/riufs/11109/3/Elias_Rabelo_Matos.pdf.txt8c54f0621c6a29aea74600eb52143ae9MD53THUMBNAILElias_Rabelo_Matos.pdf.jpgElias_Rabelo_Matos.pdf.jpgGenerated Thumbnailimage/jpeg1358https://ri.ufs.br/jspui/bitstream/riufs/11109/4/Elias_Rabelo_Matos.pdf.jpga75059a1eb00d91deff4f3284195294eMD54LICENSElicense.txtlicense.txttext/plain; charset=utf-81475https://ri.ufs.br/jspui/bitstream/riufs/11109/1/license.txt098cbbf65c2c15e1fb2e49c5d306a44cMD51ORIGINALElias_Rabelo_Matos.pdfElias_Rabelo_Matos.pdfapplication/pdf1108586https://ri.ufs.br/jspui/bitstream/riufs/11109/2/Elias_Rabelo_Matos.pdf116726e957cafb0e7158a2df343a6283MD52riufs/111092019-08-26 19:09:45.854oai:ufs.br:riufs/11109TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvcihlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyIHNldSB0cmFiYWxobyBubyBmb3JtYXRvIGVsZXRyw7RuaWNvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFNlcmdpcGUgcG9kZSwgc2VtIGFsdGVyYXIgbyBjb250ZcO6ZG8sIHRyYW5zcG9yIHNldSB0cmFiYWxobyBwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZGUgc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0bywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgbsOjbyBpbmZyaW5nZSBkaXJlaXRvcyBhdXRvcmFpcyBkZSBuaW5ndcOpbS4KCkNhc28gbyB0cmFiYWxobyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvLgoKQSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUocykgb3UgbyhzKSBub21lKHMpIGRvKHMpIApkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHRyYWJhbGhvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIGNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuIAo=Repositório InstitucionalPUBhttps://ri.ufs.br/oai/requestrepositorio@academico.ufs.bropendoar:2019-08-26T22:09:45Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)false
dc.title.pt_BR.fl_str_mv Implementação e análise de desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry
title Implementação e análise de desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry
spellingShingle Implementação e análise de desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry
Matos, Elias Rabelo
Ciência da computação
Ensino de ciência da computação
Computação de alto desempenho
Cluster
Sistema distribuído
Avaliação de desempenho
Arquitetura ARM
High performance computing
Cluster
Embebbed system
ARM Architecture
Performance evaluation
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
title_short Implementação e análise de desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry
title_full Implementação e análise de desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry
title_fullStr Implementação e análise de desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry
title_full_unstemmed Implementação e análise de desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry
title_sort Implementação e análise de desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry
author Matos, Elias Rabelo
author_facet Matos, Elias Rabelo
author_role author
dc.contributor.author.fl_str_mv Matos, Elias Rabelo
dc.contributor.advisor1.fl_str_mv Bispo, Kalil Araujo
dc.contributor.advisor-co1.fl_str_mv Ordonez, Edward David Moreno
contributor_str_mv Bispo, Kalil Araujo
Ordonez, Edward David Moreno
dc.subject.por.fl_str_mv Ciência da computação
Ensino de ciência da computação
Computação de alto desempenho
Cluster
Sistema distribuído
Avaliação de desempenho
Arquitetura ARM
topic Ciência da computação
Ensino de ciência da computação
Computação de alto desempenho
Cluster
Sistema distribuído
Avaliação de desempenho
Arquitetura ARM
High performance computing
Cluster
Embebbed system
ARM Architecture
Performance evaluation
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
dc.subject.eng.fl_str_mv High performance computing
Cluster
Embebbed system
ARM Architecture
Performance evaluation
dc.subject.cnpq.fl_str_mv CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
description The High Performance Computing (HPC) is the research area responsable for processing data in less time possible. HPC always have a very complex structure, were the cost for build a cluster is over thousands dollars. Because of the high cost, the HPC was been for a long time restricted to universities, military institutions and large companies. However, in recent years, Embedded Systems using ARM Architecture with a satisfactory computing power and low cost, became popular. Then was identified a way possible to make HPC with a low cost and significative power. On this way this work we make a design analysis of matrix multiplication schemes in a low cost embedded cluster in the Raspberry PI platform, using the Apache Hadoop framework and an OpenMPI library.The low performance of Apache Hadoop over OpenMPI was detected in matrix multiplication algorithms. And that is a Java language is dozens times slower than C language.
publishDate 2018
dc.date.issued.fl_str_mv 2018-10-19
dc.date.accessioned.fl_str_mv 2019-05-07T15:05:04Z
dc.date.available.fl_str_mv 2019-05-07T15:05:04Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv Matos, Elias Rabelo. Implementação e Análise de Desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry. São Cristóvão, SE, 2018. Monografia (Graduação em Ciência da Computação) – Curso de Ciência da Computação, Departamento de Computação, Centro de Ciências Exatas e Tecnologia, Universidade Federal de Sergipe, 2018
dc.identifier.uri.fl_str_mv http://ri.ufs.br/jspui/handle/riufs/11109
identifier_str_mv Matos, Elias Rabelo. Implementação e Análise de Desempenho do Framework Apache Hadoop e da Biblioteca OpenMPI para Multiplicação de Matrizes com um Cluster de Baixo Custo na Plataforma Raspberry. São Cristóvão, SE, 2018. Monografia (Graduação em Ciência da Computação) – Curso de Ciência da Computação, Departamento de Computação, Centro de Ciências Exatas e Tecnologia, Universidade Federal de Sergipe, 2018
url http://ri.ufs.br/jspui/handle/riufs/11109
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.initials.fl_str_mv Universidade Federal de Sergipe
dc.publisher.department.fl_str_mv DCOMP - Departamento de Computação – Ciência da Computação – São Cristóvão - Presencial
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFS
instname:Universidade Federal de Sergipe (UFS)
instacron:UFS
instname_str Universidade Federal de Sergipe (UFS)
instacron_str UFS
institution UFS
reponame_str Repositório Institucional da UFS
collection Repositório Institucional da UFS
bitstream.url.fl_str_mv https://ri.ufs.br/jspui/bitstream/riufs/11109/3/Elias_Rabelo_Matos.pdf.txt
https://ri.ufs.br/jspui/bitstream/riufs/11109/4/Elias_Rabelo_Matos.pdf.jpg
https://ri.ufs.br/jspui/bitstream/riufs/11109/1/license.txt
https://ri.ufs.br/jspui/bitstream/riufs/11109/2/Elias_Rabelo_Matos.pdf
bitstream.checksum.fl_str_mv 8c54f0621c6a29aea74600eb52143ae9
a75059a1eb00d91deff4f3284195294e
098cbbf65c2c15e1fb2e49c5d306a44c
116726e957cafb0e7158a2df343a6283
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)
repository.mail.fl_str_mv repositorio@academico.ufs.br
_version_ 1802110743840030720

Registros relacionados