Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT

Detalhes bibliográficos
Autor(a) principal: Carvalho, Rafael Aquino de
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: http://www.teses.usp.br/teses/disponiveis/45/45134/tde-15062018-110116/
Resumo: Este trabalho compara o desempenho e a estabilidade de dois arcabouços para o processamento de Big Data: Apache Spark e High Performance Analytics Toolkit (HPAT). A comparação foi realizada usando duas aplicações: soma dos elementos de um vetor unidimensional e o algoritmo de clusterização K-means. Os experimentos foram realizados em ambiente distribuído e com memória compartilhada com diferentes quantidades e configurações de máquinas virtuais. Analisando os resultados foi possível concluir que o HPAT tem um melhor desempenho em relação ao Apache Spark nos nossos casos de estudo. Também realizamos uma análise dos dois arcabouços com a presença de falhas.
id USP_bbf3f6ee3c2716eea466fea591d0509e
oai_identifier_str oai:teses.usp.br:tde-15062018-110116
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Uma análise comparativa de ambientes para Big Data: Apche Spark e HPATA comparative analysis for Big Data environments: Apache Spark and HPATApache SparkApache Spark.Arcabouços de Big DataBig data frameworksComparação de desempenhoHPATHPATPerformance comparisonEste trabalho compara o desempenho e a estabilidade de dois arcabouços para o processamento de Big Data: Apache Spark e High Performance Analytics Toolkit (HPAT). A comparação foi realizada usando duas aplicações: soma dos elementos de um vetor unidimensional e o algoritmo de clusterização K-means. Os experimentos foram realizados em ambiente distribuído e com memória compartilhada com diferentes quantidades e configurações de máquinas virtuais. Analisando os resultados foi possível concluir que o HPAT tem um melhor desempenho em relação ao Apache Spark nos nossos casos de estudo. Também realizamos uma análise dos dois arcabouços com a presença de falhas.This work compares the performance and stability of two Big Data processing tools: Apache Spark and High Performance Analytics Toolkit (HPAT). The comparison was performed using two applications: a unidimensional vector sum and the K-means clustering algorithm. The experiments were performed in distributed and shared memory environments with different numbers and configurations of virtual machines. By analyzing the results we are able to conclude that HPAT has performance improvements in relation to Apache Spark in our case studies. We also provide an analysis of both frameworks in the presence of failures.Biblioteca Digitais de Teses e Dissertações da USPLejbman, Alfredo Goldman VelCarvalho, Rafael Aquino de2018-04-16info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://www.teses.usp.br/teses/disponiveis/45/45134/tde-15062018-110116/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2018-07-19T20:50:39Zoai:teses.usp.br:tde-15062018-110116Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212018-07-19T20:50:39Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT
A comparative analysis for Big Data environments: Apache Spark and HPAT
title Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT
spellingShingle Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT
Carvalho, Rafael Aquino de
Apache Spark
Apache Spark.
Arcabouços de Big Data
Big data frameworks
Comparação de desempenho
HPAT
HPAT
Performance comparison
title_short Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT
title_full Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT
title_fullStr Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT
title_full_unstemmed Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT
title_sort Uma análise comparativa de ambientes para Big Data: Apche Spark e HPAT
author Carvalho, Rafael Aquino de
author_facet Carvalho, Rafael Aquino de
author_role author
dc.contributor.none.fl_str_mv Lejbman, Alfredo Goldman Vel
dc.contributor.author.fl_str_mv Carvalho, Rafael Aquino de
dc.subject.por.fl_str_mv Apache Spark
Apache Spark.
Arcabouços de Big Data
Big data frameworks
Comparação de desempenho
HPAT
HPAT
Performance comparison
topic Apache Spark
Apache Spark.
Arcabouços de Big Data
Big data frameworks
Comparação de desempenho
HPAT
HPAT
Performance comparison
description Este trabalho compara o desempenho e a estabilidade de dois arcabouços para o processamento de Big Data: Apache Spark e High Performance Analytics Toolkit (HPAT). A comparação foi realizada usando duas aplicações: soma dos elementos de um vetor unidimensional e o algoritmo de clusterização K-means. Os experimentos foram realizados em ambiente distribuído e com memória compartilhada com diferentes quantidades e configurações de máquinas virtuais. Analisando os resultados foi possível concluir que o HPAT tem um melhor desempenho em relação ao Apache Spark nos nossos casos de estudo. Também realizamos uma análise dos dois arcabouços com a presença de falhas.
publishDate 2018
dc.date.none.fl_str_mv 2018-04-16
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://www.teses.usp.br/teses/disponiveis/45/45134/tde-15062018-110116/
url http://www.teses.usp.br/teses/disponiveis/45/45134/tde-15062018-110116/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809090743860461568

Registros relacionados