Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem

Detalhes bibliográficos
Autor(a) principal: Túlio B. M. Pinto
Data de Publicação: 2018
Outros Autores: Ana Paula Couto da Silva, Jussara M. Almeida
Tipo de documento: Artigo de conferência
Idioma: por
Título da fonte: Repositório Institucional da UFMG
Texto Completo: https://doi.org/10.5753/sbrc.2018.2440
http://hdl.handle.net/1843/74090
https://orcid.org/0000-0001-5951-3562
https://orcid.org/0000-0001-9142-2919
Resumo: Data access heterogeneity and irregularity are typical properties of Big Data applications, and, therefore, turn hardware and software resource scheduling much more challenging. However, the flexibility and elasticity provided by cloud environments decrease the difficulty by allowing on-demand resource provisioning. Nonetheless, the performance prediction (e.g.: response time) of such applications increase in complexity as all these characteristics are combined. This work explores an analytical model for Spark applications’ response time prediction, a popular platform for large-scale data processing, parametrized by earlier execution logs. This model is evaluated in several scenarios and applications. The results show relative errors lower than 8% for response time prediction, in average.
id UFMG_01dc671ca6f9faa268ab0cd18d3662af
oai_identifier_str oai:repositorio.ufmg.br:1843/74090
network_acronym_str UFMG
network_name_str Repositório Institucional da UFMG
repository_id_str
spelling Previsão do tempo de resposta de aplicações de big data em ambientes de nuvemArmazenamentoBig dataComputação em nuvemData access heterogeneity and irregularity are typical properties of Big Data applications, and, therefore, turn hardware and software resource scheduling much more challenging. However, the flexibility and elasticity provided by cloud environments decrease the difficulty by allowing on-demand resource provisioning. Nonetheless, the performance prediction (e.g.: response time) of such applications increase in complexity as all these characteristics are combined. This work explores an analytical model for Spark applications’ response time prediction, a popular platform for large-scale data processing, parametrized by earlier execution logs. This model is evaluated in several scenarios and applications. The results show relative errors lower than 8% for response time prediction, in average.Aplicações de big data têm tipicamente propriedades bem específicas, tais como heterogeneidade e irregularidade nos padrões de acesso aos dados, que tornam a alocação de recursos de hardware e software muito desafiadora. Por outro lado, a flexibilidade e a elasticidade provida por plataformas de computação na nuvem facilitam esta alocaçãoá medida em que recursos são alocados sob demanda. Entretanto, estas características também tornam a previsão de desempenho (p.ex: tempo de resposta das aplicações) mais complexa. Este trabalho explora um modelo analítico para a previsão de tempo de resposta de aplicações executando na plataforma Spark, muito popular para processamento de dados em larga escala, que é parametrizado a partir de logs de execuções prévias. O modelo é avaliado em diversos cenários e aplicações, obtendo um erro relativo no tempo de resposta previsto inferior a 8%, em média.Universidade Federal de Minas GeraisBrasilICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃOUFMG2024-08-14T20:32:47Z2024-08-14T20:32:47Z2018info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/conferenceObjectpdfapplication/pdfhttps://doi.org/10.5753/sbrc.2018.24402177-9384http://hdl.handle.net/1843/74090https://orcid.org/0000-0001-5951-3562https://orcid.org/0000-0001-9142-2919porSimpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos (SBRC)Túlio B. M. PintoAna Paula Couto da SilvaJussara M. Almeidainfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMG2024-08-14T20:32:48Zoai:repositorio.ufmg.br:1843/74090Repositório InstitucionalPUBhttps://repositorio.ufmg.br/oairepositorio@ufmg.bropendoar:2024-08-14T20:32:48Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
dc.title.none.fl_str_mv Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem
title Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem
spellingShingle Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem
Túlio B. M. Pinto
Armazenamento
Big data
Computação em nuvem
title_short Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem
title_full Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem
title_fullStr Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem
title_full_unstemmed Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem
title_sort Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem
author Túlio B. M. Pinto
author_facet Túlio B. M. Pinto
Ana Paula Couto da Silva
Jussara M. Almeida
author_role author
author2 Ana Paula Couto da Silva
Jussara M. Almeida
author2_role author
author
dc.contributor.author.fl_str_mv Túlio B. M. Pinto
Ana Paula Couto da Silva
Jussara M. Almeida
dc.subject.por.fl_str_mv Armazenamento
Big data
Computação em nuvem
topic Armazenamento
Big data
Computação em nuvem
description Data access heterogeneity and irregularity are typical properties of Big Data applications, and, therefore, turn hardware and software resource scheduling much more challenging. However, the flexibility and elasticity provided by cloud environments decrease the difficulty by allowing on-demand resource provisioning. Nonetheless, the performance prediction (e.g.: response time) of such applications increase in complexity as all these characteristics are combined. This work explores an analytical model for Spark applications’ response time prediction, a popular platform for large-scale data processing, parametrized by earlier execution logs. This model is evaluated in several scenarios and applications. The results show relative errors lower than 8% for response time prediction, in average.
publishDate 2018
dc.date.none.fl_str_mv 2018
2024-08-14T20:32:47Z
2024-08-14T20:32:47Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/conferenceObject
format conferenceObject
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://doi.org/10.5753/sbrc.2018.2440
2177-9384
http://hdl.handle.net/1843/74090
https://orcid.org/0000-0001-5951-3562
https://orcid.org/0000-0001-9142-2919
url https://doi.org/10.5753/sbrc.2018.2440
http://hdl.handle.net/1843/74090
https://orcid.org/0000-0001-5951-3562
https://orcid.org/0000-0001-9142-2919
identifier_str_mv 2177-9384
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos (SBRC)
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv pdf
application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Minas Gerais
Brasil
ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO
UFMG
publisher.none.fl_str_mv Universidade Federal de Minas Gerais
Brasil
ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO
UFMG
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMG
instname:Universidade Federal de Minas Gerais (UFMG)
instacron:UFMG
instname_str Universidade Federal de Minas Gerais (UFMG)
instacron_str UFMG
institution UFMG
reponame_str Repositório Institucional da UFMG
collection Repositório Institucional da UFMG
repository.name.fl_str_mv Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)
repository.mail.fl_str_mv repositorio@ufmg.br
_version_ 1816829557443919872