Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Outros Autores: | , |
Tipo de documento: | Artigo de conferência |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFMG |
Texto Completo: | https://doi.org/10.5753/sbrc.2018.2440 http://hdl.handle.net/1843/74090 https://orcid.org/0000-0001-5951-3562 https://orcid.org/0000-0001-9142-2919 |
Resumo: | Data access heterogeneity and irregularity are typical properties of Big Data applications, and, therefore, turn hardware and software resource scheduling much more challenging. However, the flexibility and elasticity provided by cloud environments decrease the difficulty by allowing on-demand resource provisioning. Nonetheless, the performance prediction (e.g.: response time) of such applications increase in complexity as all these characteristics are combined. This work explores an analytical model for Spark applications’ response time prediction, a popular platform for large-scale data processing, parametrized by earlier execution logs. This model is evaluated in several scenarios and applications. The results show relative errors lower than 8% for response time prediction, in average. |
id |
UFMG_01dc671ca6f9faa268ab0cd18d3662af |
---|---|
oai_identifier_str |
oai:repositorio.ufmg.br:1843/74090 |
network_acronym_str |
UFMG |
network_name_str |
Repositório Institucional da UFMG |
repository_id_str |
|
spelling |
Previsão do tempo de resposta de aplicações de big data em ambientes de nuvemArmazenamentoBig dataComputação em nuvemData access heterogeneity and irregularity are typical properties of Big Data applications, and, therefore, turn hardware and software resource scheduling much more challenging. However, the flexibility and elasticity provided by cloud environments decrease the difficulty by allowing on-demand resource provisioning. Nonetheless, the performance prediction (e.g.: response time) of such applications increase in complexity as all these characteristics are combined. This work explores an analytical model for Spark applications’ response time prediction, a popular platform for large-scale data processing, parametrized by earlier execution logs. This model is evaluated in several scenarios and applications. The results show relative errors lower than 8% for response time prediction, in average.Aplicações de big data têm tipicamente propriedades bem específicas, tais como heterogeneidade e irregularidade nos padrões de acesso aos dados, que tornam a alocação de recursos de hardware e software muito desafiadora. Por outro lado, a flexibilidade e a elasticidade provida por plataformas de computação na nuvem facilitam esta alocaçãoá medida em que recursos são alocados sob demanda. Entretanto, estas características também tornam a previsão de desempenho (p.ex: tempo de resposta das aplicações) mais complexa. Este trabalho explora um modelo analítico para a previsão de tempo de resposta de aplicações executando na plataforma Spark, muito popular para processamento de dados em larga escala, que é parametrizado a partir de logs de execuções prévias. O modelo é avaliado em diversos cenários e aplicações, obtendo um erro relativo no tempo de resposta previsto inferior a 8%, em média.Universidade Federal de Minas GeraisBrasilICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃOUFMG2024-08-14T20:32:47Z2024-08-14T20:32:47Z2018info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/conferenceObjectpdfapplication/pdfhttps://doi.org/10.5753/sbrc.2018.24402177-9384http://hdl.handle.net/1843/74090https://orcid.org/0000-0001-5951-3562https://orcid.org/0000-0001-9142-2919porSimpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos (SBRC)Túlio B. M. PintoAna Paula Couto da SilvaJussara M. Almeidainfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMG2024-08-14T20:32:48Zoai:repositorio.ufmg.br:1843/74090Repositório InstitucionalPUBhttps://repositorio.ufmg.br/oairepositorio@ufmg.bropendoar:2024-08-14T20:32:48Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false |
dc.title.none.fl_str_mv |
Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem |
title |
Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem |
spellingShingle |
Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem Túlio B. M. Pinto Armazenamento Big data Computação em nuvem |
title_short |
Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem |
title_full |
Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem |
title_fullStr |
Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem |
title_full_unstemmed |
Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem |
title_sort |
Previsão do tempo de resposta de aplicações de big data em ambientes de nuvem |
author |
Túlio B. M. Pinto |
author_facet |
Túlio B. M. Pinto Ana Paula Couto da Silva Jussara M. Almeida |
author_role |
author |
author2 |
Ana Paula Couto da Silva Jussara M. Almeida |
author2_role |
author author |
dc.contributor.author.fl_str_mv |
Túlio B. M. Pinto Ana Paula Couto da Silva Jussara M. Almeida |
dc.subject.por.fl_str_mv |
Armazenamento Big data Computação em nuvem |
topic |
Armazenamento Big data Computação em nuvem |
description |
Data access heterogeneity and irregularity are typical properties of Big Data applications, and, therefore, turn hardware and software resource scheduling much more challenging. However, the flexibility and elasticity provided by cloud environments decrease the difficulty by allowing on-demand resource provisioning. Nonetheless, the performance prediction (e.g.: response time) of such applications increase in complexity as all these characteristics are combined. This work explores an analytical model for Spark applications’ response time prediction, a popular platform for large-scale data processing, parametrized by earlier execution logs. This model is evaluated in several scenarios and applications. The results show relative errors lower than 8% for response time prediction, in average. |
publishDate |
2018 |
dc.date.none.fl_str_mv |
2018 2024-08-14T20:32:47Z 2024-08-14T20:32:47Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/conferenceObject |
format |
conferenceObject |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://doi.org/10.5753/sbrc.2018.2440 2177-9384 http://hdl.handle.net/1843/74090 https://orcid.org/0000-0001-5951-3562 https://orcid.org/0000-0001-9142-2919 |
url |
https://doi.org/10.5753/sbrc.2018.2440 http://hdl.handle.net/1843/74090 https://orcid.org/0000-0001-5951-3562 https://orcid.org/0000-0001-9142-2919 |
identifier_str_mv |
2177-9384 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos (SBRC) |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
pdf application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais Brasil ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO UFMG |
publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais Brasil ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO UFMG |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFMG instname:Universidade Federal de Minas Gerais (UFMG) instacron:UFMG |
instname_str |
Universidade Federal de Minas Gerais (UFMG) |
instacron_str |
UFMG |
institution |
UFMG |
reponame_str |
Repositório Institucional da UFMG |
collection |
Repositório Institucional da UFMG |
repository.name.fl_str_mv |
Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG) |
repository.mail.fl_str_mv |
repositorio@ufmg.br |
_version_ |
1816829557443919872 |