Exploiting cloud heterogeneity for cost-efficient execution of HPC applications

Detalhes bibliográficos
Autor(a) principal: Roloff, Eduardo
Data de Publicação: 2019
Tipo de documento: Tese
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/212525
Resumo: O uso de Computação em Nuvem como um ambiente para a execução de aplicações de alto desempenho já é uma realidade atualmente, onde diversos cientistas já utilizam a nuvem como ambiente primário de execução ou, ao menos, como um ambiente que pode estender um ambiente de execução tradicional, tal como um aglomerado de computadores. No entanto, como provedores de nuvem possuem uma oferta diversa de instâncias, com várias configurações heterogêneas tanto em termos de poder de processamento como de custo. Há variação de instâncias com cores de processamento compartilhado até grandes instâncias com foco em execução de aplicações de alto desempenho. Em termos de preço, há variação de instâncias que apresentam valores menores do que um centavo de dólar por hora até instâncias que custam dezenas de dólares pela utilização de uma hora. Por outro lado, as aplicações de alto desempenho são divididas em diversas tarefas que são executadas paralelamente para resolver um problema, tais tarefas acabam apresentando diferentes demandas computacionais, fazendo com que a aplicação apresente um certo nível de desbalanceamento. Juntando-se a grande variedade da oferta de instâncias com aplicações que possuem diferentes demandas, é um problema para o usuário fazer a escolha da instância, ou instâncias, certas para a execução de sua aplicação. Essa tese trata desse problema, realizando um estudo sobre a heterogeneidade da nuvem, buscando identificar oportunidades que podem ser exploradas tanto em termos de redução de custo como buscando um desempenho de execução aceitável, sem apresentar grandes perdas no tempo de execução. Após esse estudo, é proposto um mecanismo chamado CloudHet que utiliza como entradas o perfil das instâncias da nuvem e o perfil de carga das tarefas de uma dada aplicação; utilizando esses dados de entrada o mecanismo faz uma otimização para propor ao usuário um cenário de execução que se adeque ao perfil da sua aplicação, com foco em eficiência de custo. Os resultados mostram que, de acordo com o comportamento da aplicação, é possível obter uma redução significativa de custos usando configurações heterogêneas em comparação com homogêneas. A redução de custos foi de até 63%, com uma perda de desempenho tolerável de até 7%.
id URGS_6ea029c307f2aa24f808fb29ae712370
oai_identifier_str oai:www.lume.ufrgs.br:10183/212525
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Roloff, EduardoNavaux, Philippe Olivier AlexandreGaspary, Luciano Paschoal2020-07-30T03:38:50Z2019http://hdl.handle.net/10183/212525001116495O uso de Computação em Nuvem como um ambiente para a execução de aplicações de alto desempenho já é uma realidade atualmente, onde diversos cientistas já utilizam a nuvem como ambiente primário de execução ou, ao menos, como um ambiente que pode estender um ambiente de execução tradicional, tal como um aglomerado de computadores. No entanto, como provedores de nuvem possuem uma oferta diversa de instâncias, com várias configurações heterogêneas tanto em termos de poder de processamento como de custo. Há variação de instâncias com cores de processamento compartilhado até grandes instâncias com foco em execução de aplicações de alto desempenho. Em termos de preço, há variação de instâncias que apresentam valores menores do que um centavo de dólar por hora até instâncias que custam dezenas de dólares pela utilização de uma hora. Por outro lado, as aplicações de alto desempenho são divididas em diversas tarefas que são executadas paralelamente para resolver um problema, tais tarefas acabam apresentando diferentes demandas computacionais, fazendo com que a aplicação apresente um certo nível de desbalanceamento. Juntando-se a grande variedade da oferta de instâncias com aplicações que possuem diferentes demandas, é um problema para o usuário fazer a escolha da instância, ou instâncias, certas para a execução de sua aplicação. Essa tese trata desse problema, realizando um estudo sobre a heterogeneidade da nuvem, buscando identificar oportunidades que podem ser exploradas tanto em termos de redução de custo como buscando um desempenho de execução aceitável, sem apresentar grandes perdas no tempo de execução. Após esse estudo, é proposto um mecanismo chamado CloudHet que utiliza como entradas o perfil das instâncias da nuvem e o perfil de carga das tarefas de uma dada aplicação; utilizando esses dados de entrada o mecanismo faz uma otimização para propor ao usuário um cenário de execução que se adeque ao perfil da sua aplicação, com foco em eficiência de custo. Os resultados mostram que, de acordo com o comportamento da aplicação, é possível obter uma redução significativa de custos usando configurações heterogêneas em comparação com homogêneas. A redução de custos foi de até 63%, com uma perda de desempenho tolerável de até 7%.Using Cloud Computing as an environment for running high-performance applications is already a reality today, where many scientists already use the cloud as their primary execution environment or at least as an environment that can extend a running environment, such as a cluster of computers. However, as cloud providers have a diverse range of instances with many heterogeneous configurations. In terms of processing power, cloud instances range from instances with shared processing cores to large instances focused on running high-performance applications. In terms of price, instances vary from configurations with values under US$ 0.01 per hour up to instances that cost tens of dollars per hour. On the other hand, high-performance applications split into several tasks that are executed in parallel to solve a problem; such tasks end up presenting different computational demands, causing the application to present a certain level of imbalance. The combination of the wide variety of instances offering and the applications that have different demands leads us to a problem, where it is difficult for the user to choose the right instance or instances to run their application. This thesis addresses this problem by conducting a study on cloud heterogeneity, seeking to identify opportunities that can be exploited both in terms of cost reduction and acceptable execution performance, without presenting significant losses in execution time. After this study, we proposed a mechanism called CloudHet that uses as input the cloud instance profile and the task load profile of a given application; Using this input data, our mechanism optimizes to provide the user with an execution scenario that fits their application profile, focusing on cost efficiency. Our results have shown that according to the application behavior, it is possible to achieve significant cost reduction by using heterogeneous configurations compared to homogeneous configurations. We achieved gains in cost reduction up to 63%. Besides, the performance loss keeps a tolerable rate, up to 7%.application/pdfengInformáticaCloud ComputingHPCMechanismHeterogeneous EnvironmentExploiting cloud heterogeneity for cost-efficient execution of HPC applicationsExplorando a heterogeneidade da nuvem para execução de aplicações HPC com eficiência de custo info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2019doutoradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001116495.pdf.txt001116495.pdf.txtExtracted Texttext/plain206545http://www.lume.ufrgs.br/bitstream/10183/212525/2/001116495.pdf.txt55f389ecc92415a2d0570cb3986bd1fdMD52ORIGINAL001116495.pdfTexto completo (inglês)application/pdf562172http://www.lume.ufrgs.br/bitstream/10183/212525/1/001116495.pdf86665ea762c3dcc0629931c269469a31MD5110183/2125252020-08-02 03:41:06.608669oai:www.lume.ufrgs.br:10183/212525Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532020-08-02T06:41:06Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Exploiting cloud heterogeneity for cost-efficient execution of HPC applications
dc.title.alternative.pt.fl_str_mv Explorando a heterogeneidade da nuvem para execução de aplicações HPC com eficiência de custo
title Exploiting cloud heterogeneity for cost-efficient execution of HPC applications
spellingShingle Exploiting cloud heterogeneity for cost-efficient execution of HPC applications
Roloff, Eduardo
Informática
Cloud Computing
HPC
Mechanism
Heterogeneous Environment
title_short Exploiting cloud heterogeneity for cost-efficient execution of HPC applications
title_full Exploiting cloud heterogeneity for cost-efficient execution of HPC applications
title_fullStr Exploiting cloud heterogeneity for cost-efficient execution of HPC applications
title_full_unstemmed Exploiting cloud heterogeneity for cost-efficient execution of HPC applications
title_sort Exploiting cloud heterogeneity for cost-efficient execution of HPC applications
author Roloff, Eduardo
author_facet Roloff, Eduardo
author_role author
dc.contributor.author.fl_str_mv Roloff, Eduardo
dc.contributor.advisor1.fl_str_mv Navaux, Philippe Olivier Alexandre
dc.contributor.advisor-co1.fl_str_mv Gaspary, Luciano Paschoal
contributor_str_mv Navaux, Philippe Olivier Alexandre
Gaspary, Luciano Paschoal
dc.subject.por.fl_str_mv Informática
topic Informática
Cloud Computing
HPC
Mechanism
Heterogeneous Environment
dc.subject.eng.fl_str_mv Cloud Computing
HPC
Mechanism
Heterogeneous Environment
description O uso de Computação em Nuvem como um ambiente para a execução de aplicações de alto desempenho já é uma realidade atualmente, onde diversos cientistas já utilizam a nuvem como ambiente primário de execução ou, ao menos, como um ambiente que pode estender um ambiente de execução tradicional, tal como um aglomerado de computadores. No entanto, como provedores de nuvem possuem uma oferta diversa de instâncias, com várias configurações heterogêneas tanto em termos de poder de processamento como de custo. Há variação de instâncias com cores de processamento compartilhado até grandes instâncias com foco em execução de aplicações de alto desempenho. Em termos de preço, há variação de instâncias que apresentam valores menores do que um centavo de dólar por hora até instâncias que custam dezenas de dólares pela utilização de uma hora. Por outro lado, as aplicações de alto desempenho são divididas em diversas tarefas que são executadas paralelamente para resolver um problema, tais tarefas acabam apresentando diferentes demandas computacionais, fazendo com que a aplicação apresente um certo nível de desbalanceamento. Juntando-se a grande variedade da oferta de instâncias com aplicações que possuem diferentes demandas, é um problema para o usuário fazer a escolha da instância, ou instâncias, certas para a execução de sua aplicação. Essa tese trata desse problema, realizando um estudo sobre a heterogeneidade da nuvem, buscando identificar oportunidades que podem ser exploradas tanto em termos de redução de custo como buscando um desempenho de execução aceitável, sem apresentar grandes perdas no tempo de execução. Após esse estudo, é proposto um mecanismo chamado CloudHet que utiliza como entradas o perfil das instâncias da nuvem e o perfil de carga das tarefas de uma dada aplicação; utilizando esses dados de entrada o mecanismo faz uma otimização para propor ao usuário um cenário de execução que se adeque ao perfil da sua aplicação, com foco em eficiência de custo. Os resultados mostram que, de acordo com o comportamento da aplicação, é possível obter uma redução significativa de custos usando configurações heterogêneas em comparação com homogêneas. A redução de custos foi de até 63%, com uma perda de desempenho tolerável de até 7%.
publishDate 2019
dc.date.issued.fl_str_mv 2019
dc.date.accessioned.fl_str_mv 2020-07-30T03:38:50Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/212525
dc.identifier.nrb.pt_BR.fl_str_mv 001116495
url http://hdl.handle.net/10183/212525
identifier_str_mv 001116495
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/212525/2/001116495.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/212525/1/001116495.pdf
bitstream.checksum.fl_str_mv 55f389ecc92415a2d0570cb3986bd1fd
86665ea762c3dcc0629931c269469a31
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1800309167935717376