Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning

Detalhes bibliográficos
Autor(a) principal: Pretto, Guilherme Rex
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/220445
Resumo: Data centers, clusters e grid têm historicamente suporte para aplicações de computação de alto desempenho (HPC). Devido aos altos gastos de capital e operacionais associados a essas infraestruturas, presenciamos esforços consistentes para executar aplicações HPC na nuvem, recentemente. As vantagens potenciais dessa mudança incluem maior escalabilidade e baixos custos de manutenção. Se, por um lado, a instanciação de aplicações - por meio de máquinas virtuais (VMs) personalizadas - é um problema muito estudado, por outro, a rede ainda representa um gargalo significativo. Ao alternar as aplicações HPC para serem executados na nuvem, perdemos o controle de onde as VMs serão posicionadas e dos caminhos que serão percorridos para que os processos se comuniquem entre si. Para preencher essa lacuna, apresentamos Janus, uma estrutura para provisionamento de caminho dinâmico e just-in-time em infraestruturas de nuvem. Aproveitando os princípios de rede definidos por software emergentes, a estrutura permite que uma aplicação HPC, uma vez inicializada, tenha caminhos de comunicação entre processos configurados com base na utilização dos links de rede menos congestionados (em vez de recorrer a caminhos pré-computados mais curtos). Janus é totalmente configurável para lidar com diferentes parâmetros operacionais e estratégias de comunicação, fornecendo um rico ecossistema para acelerar a execução das aplicações. Por meio de uma extensa avaliação experimental, fornecemos evidências de que o framework proposto pode levar a ganhos significativos em relação ao tempo de execução. Além disso, mostramos o que se pode esperar em termos de sobrecarga do sistema, fornecendo insights essenciais sobre como obter melhor proveito do Janus.
id URGS_b462a830dff25f290ea8e2540a0f7091
oai_identifier_str oai:www.lume.ufrgs.br:10183/220445
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Pretto, Guilherme RexGaspary, Luciano Paschoal2021-05-04T04:26:57Z2021http://hdl.handle.net/10183/220445001124877Data centers, clusters e grid têm historicamente suporte para aplicações de computação de alto desempenho (HPC). Devido aos altos gastos de capital e operacionais associados a essas infraestruturas, presenciamos esforços consistentes para executar aplicações HPC na nuvem, recentemente. As vantagens potenciais dessa mudança incluem maior escalabilidade e baixos custos de manutenção. Se, por um lado, a instanciação de aplicações - por meio de máquinas virtuais (VMs) personalizadas - é um problema muito estudado, por outro, a rede ainda representa um gargalo significativo. Ao alternar as aplicações HPC para serem executados na nuvem, perdemos o controle de onde as VMs serão posicionadas e dos caminhos que serão percorridos para que os processos se comuniquem entre si. Para preencher essa lacuna, apresentamos Janus, uma estrutura para provisionamento de caminho dinâmico e just-in-time em infraestruturas de nuvem. Aproveitando os princípios de rede definidos por software emergentes, a estrutura permite que uma aplicação HPC, uma vez inicializada, tenha caminhos de comunicação entre processos configurados com base na utilização dos links de rede menos congestionados (em vez de recorrer a caminhos pré-computados mais curtos). Janus é totalmente configurável para lidar com diferentes parâmetros operacionais e estratégias de comunicação, fornecendo um rico ecossistema para acelerar a execução das aplicações. Por meio de uma extensa avaliação experimental, fornecemos evidências de que o framework proposto pode levar a ganhos significativos em relação ao tempo de execução. Além disso, mostramos o que se pode esperar em termos de sobrecarga do sistema, fornecendo insights essenciais sobre como obter melhor proveito do Janus.Data centers, clusters, and grids have historically supported High-Performance Computing (HPC) applications. Due to the high capital and operational expenditures associated with such infrastructures, we have witnessed consistent efforts to run HPC applications in the cloud in the recent past. The potential advantages of this shift include higher scalability and lower costs. If, on the one hand, app instantiation – through customized Virtual Machines (VMs) – is a well-studied issue, on the other, the network still represents a significant bottleneck. When switching HPC applications to be executed on the cloud, we lose control of where VMs will be positioned and of the paths that will be traversed for processes to communicate with one another. To bridge this gap, we present Janus, a framework for dynamic, just-in-time path provisioning in cloud infrastructures. By leveraging emerging software-defined networking principles, the framework allows for an HPC application, once deployed, to have interprocess communication paths configured upon usage based on least-used network links (instead of resorting to shortest, pre-computed paths). Janus is fully configurable to cope with different operating parameters and communication strategies, providing a rich ecosystem for application execution speed up. Through an extensive experimental evaluation, we provide evidence that the proposed framework can lead to significant gains regarding runtime. Moreover, we show what one can expect in terms of system overheads, providing essential insights on how better benefiting from Janus.application/pdfporComputação em nuvemComputação de alto desempenhoGerenciamento de redes : ComputadoresMaquinas virtuaisHPC applicationsCloud infrastructuresLink usage-aware path provisioningFrameworkJanus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioninginfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2021mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001124877.pdf.txt001124877.pdf.txtExtracted Texttext/plain124185http://www.lume.ufrgs.br/bitstream/10183/220445/2/001124877.pdf.txtc6672d7ccffcf2c90b4536b9e36a347aMD52ORIGINAL001124877.pdfTexto completoapplication/pdf974657http://www.lume.ufrgs.br/bitstream/10183/220445/1/001124877.pdf79f3241e6e4a6d0d4bbf7e156c5d5a09MD5110183/2204452024-04-03 06:43:24.549891oai:www.lume.ufrgs.br:10183/220445Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532024-04-03T09:43:24Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning
title Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning
spellingShingle Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning
Pretto, Guilherme Rex
Computação em nuvem
Computação de alto desempenho
Gerenciamento de redes : Computadores
Maquinas virtuais
HPC applications
Cloud infrastructures
Link usage-aware path provisioning
Framework
title_short Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning
title_full Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning
title_fullStr Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning
title_full_unstemmed Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning
title_sort Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning
author Pretto, Guilherme Rex
author_facet Pretto, Guilherme Rex
author_role author
dc.contributor.author.fl_str_mv Pretto, Guilherme Rex
dc.contributor.advisor1.fl_str_mv Gaspary, Luciano Paschoal
contributor_str_mv Gaspary, Luciano Paschoal
dc.subject.por.fl_str_mv Computação em nuvem
Computação de alto desempenho
Gerenciamento de redes : Computadores
Maquinas virtuais
topic Computação em nuvem
Computação de alto desempenho
Gerenciamento de redes : Computadores
Maquinas virtuais
HPC applications
Cloud infrastructures
Link usage-aware path provisioning
Framework
dc.subject.eng.fl_str_mv HPC applications
Cloud infrastructures
Link usage-aware path provisioning
Framework
description Data centers, clusters e grid têm historicamente suporte para aplicações de computação de alto desempenho (HPC). Devido aos altos gastos de capital e operacionais associados a essas infraestruturas, presenciamos esforços consistentes para executar aplicações HPC na nuvem, recentemente. As vantagens potenciais dessa mudança incluem maior escalabilidade e baixos custos de manutenção. Se, por um lado, a instanciação de aplicações - por meio de máquinas virtuais (VMs) personalizadas - é um problema muito estudado, por outro, a rede ainda representa um gargalo significativo. Ao alternar as aplicações HPC para serem executados na nuvem, perdemos o controle de onde as VMs serão posicionadas e dos caminhos que serão percorridos para que os processos se comuniquem entre si. Para preencher essa lacuna, apresentamos Janus, uma estrutura para provisionamento de caminho dinâmico e just-in-time em infraestruturas de nuvem. Aproveitando os princípios de rede definidos por software emergentes, a estrutura permite que uma aplicação HPC, uma vez inicializada, tenha caminhos de comunicação entre processos configurados com base na utilização dos links de rede menos congestionados (em vez de recorrer a caminhos pré-computados mais curtos). Janus é totalmente configurável para lidar com diferentes parâmetros operacionais e estratégias de comunicação, fornecendo um rico ecossistema para acelerar a execução das aplicações. Por meio de uma extensa avaliação experimental, fornecemos evidências de que o framework proposto pode levar a ganhos significativos em relação ao tempo de execução. Além disso, mostramos o que se pode esperar em termos de sobrecarga do sistema, fornecendo insights essenciais sobre como obter melhor proveito do Janus.
publishDate 2021
dc.date.accessioned.fl_str_mv 2021-05-04T04:26:57Z
dc.date.issued.fl_str_mv 2021
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/220445
dc.identifier.nrb.pt_BR.fl_str_mv 001124877
url http://hdl.handle.net/10183/220445
identifier_str_mv 001124877
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/220445/2/001124877.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/220445/1/001124877.pdf
bitstream.checksum.fl_str_mv c6672d7ccffcf2c90b4536b9e36a347a
79f3241e6e4a6d0d4bbf7e156c5d5a09
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1810085551187951616