Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | http://www.teses.usp.br/teses/disponiveis/45/45134/tde-15062018-110116/ |
Resumo: | Este trabalho compara o desempenho e a estabilidade de dois arcabouços para o processamento de Big Data: Apache Spark e High Performance Analytics Toolkit (HPAT). A comparação foi realizada usando duas aplicações: soma dos elementos de um vetor unidimensional e o algoritmo de clusterização K-means. Os experimentos foram realizados em ambiente distribuído e com memória compartilhada com diferentes quantidades e configurações de máquinas virtuais. Analisando os resultados foi possível concluir que o HPAT tem um melhor desempenho em relação ao Apache Spark nos nossos casos de estudo. Também realizamos uma análise dos dois arcabouços com a presença de falhas. |
id |
USP_bbf3f6ee3c2716eea466fea591d0509e |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-15062018-110116 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Uma análise comparativa de ambientes para Big Data: Apche Spark e HPATA comparative analysis for Big Data environments: Apache Spark and HPATApache SparkApache Spark.Arcabouços de Big DataBig data frameworksComparação de desempenhoHPATHPATPerformance comparisonEste trabalho compara o desempenho e a estabilidade de dois arcabouços para o processamento de Big Data: Apache Spark e High Performance Analytics Toolkit (HPAT). A comparação foi realizada usando duas aplicações: soma dos elementos de um vetor unidimensional e o algoritmo de clusterização K-means. Os experimentos foram realizados em ambiente distribuído e com memória compartilhada com diferentes quantidades e configurações de máquinas virtuais. Analisando os resultados foi possível concluir que o HPAT tem um melhor desempenho em relação ao Apache Spark nos nossos casos de estudo. Também realizamos uma análise dos dois arcabouços com a presença de falhas.This work compares the performance and stability of two Big Data processing tools: Apache Spark and High Performance Analytics Toolkit (HPAT). The comparison was performed using two applications: a unidimensional vector sum and the K-means clustering algorithm. The experiments were performed in distributed and shared memory environments with different numbers and configurations of virtual machines. By analyzing the results we are able to conclude that HPAT has performance improvements in relation to Apache Spark in our case studies. We also provide an analysis of both frameworks in the presence of failures.Biblioteca Digitais de Teses e Dissertações da USPLejbman, Alfredo Goldman VelCarvalho, Rafael Aquino de2018-04-16info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://www.teses.usp.br/teses/disponiveis/45/45134/tde-15062018-110116/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2018-07-19T20:50:39Zoai:teses.usp.br:tde-15062018-110116Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212018-07-19T20:50:39Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT A comparative analysis for Big Data environments: Apache Spark and HPAT |
title |
Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT |
spellingShingle |
Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT Carvalho, Rafael Aquino de Apache Spark Apache Spark. Arcabouços de Big Data Big data frameworks Comparação de desempenho HPAT HPAT Performance comparison |
title_short |
Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT |
title_full |
Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT |
title_fullStr |
Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT |
title_full_unstemmed |
Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT |
title_sort |
Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT |
author |
Carvalho, Rafael Aquino de |
author_facet |
Carvalho, Rafael Aquino de |
author_role |
author |
dc.contributor.none.fl_str_mv |
Lejbman, Alfredo Goldman Vel |
dc.contributor.author.fl_str_mv |
Carvalho, Rafael Aquino de |
dc.subject.por.fl_str_mv |
Apache Spark Apache Spark. Arcabouços de Big Data Big data frameworks Comparação de desempenho HPAT HPAT Performance comparison |
topic |
Apache Spark Apache Spark. Arcabouços de Big Data Big data frameworks Comparação de desempenho HPAT HPAT Performance comparison |
description |
Este trabalho compara o desempenho e a estabilidade de dois arcabouços para o processamento de Big Data: Apache Spark e High Performance Analytics Toolkit (HPAT). A comparação foi realizada usando duas aplicações: soma dos elementos de um vetor unidimensional e o algoritmo de clusterização K-means. Os experimentos foram realizados em ambiente distribuído e com memória compartilhada com diferentes quantidades e configurações de máquinas virtuais. Analisando os resultados foi possível concluir que o HPAT tem um melhor desempenho em relação ao Apache Spark nos nossos casos de estudo. Também realizamos uma análise dos dois arcabouços com a presença de falhas. |
publishDate |
2018 |
dc.date.none.fl_str_mv |
2018-04-16 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://www.teses.usp.br/teses/disponiveis/45/45134/tde-15062018-110116/ |
url |
http://www.teses.usp.br/teses/disponiveis/45/45134/tde-15062018-110116/ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1815257023536693248 |