Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da UFRGS |
Texto Completo: | http://hdl.handle.net/10183/220445 |
Resumo: | Data centers, clusters e grid têm historicamente suporte para aplicações de computação de alto desempenho (HPC). Devido aos altos gastos de capital e operacionais associados a essas infraestruturas, presenciamos esforços consistentes para executar aplicações HPC na nuvem, recentemente. As vantagens potenciais dessa mudança incluem maior escalabilidade e baixos custos de manutenção. Se, por um lado, a instanciação de aplicações - por meio de máquinas virtuais (VMs) personalizadas - é um problema muito estudado, por outro, a rede ainda representa um gargalo significativo. Ao alternar as aplicações HPC para serem executados na nuvem, perdemos o controle de onde as VMs serão posicionadas e dos caminhos que serão percorridos para que os processos se comuniquem entre si. Para preencher essa lacuna, apresentamos Janus, uma estrutura para provisionamento de caminho dinâmico e just-in-time em infraestruturas de nuvem. Aproveitando os princípios de rede definidos por software emergentes, a estrutura permite que uma aplicação HPC, uma vez inicializada, tenha caminhos de comunicação entre processos configurados com base na utilização dos links de rede menos congestionados (em vez de recorrer a caminhos pré-computados mais curtos). Janus é totalmente configurável para lidar com diferentes parâmetros operacionais e estratégias de comunicação, fornecendo um rico ecossistema para acelerar a execução das aplicações. Por meio de uma extensa avaliação experimental, fornecemos evidências de que o framework proposto pode levar a ganhos significativos em relação ao tempo de execução. Além disso, mostramos o que se pode esperar em termos de sobrecarga do sistema, fornecendo insights essenciais sobre como obter melhor proveito do Janus. |
id |
URGS_b462a830dff25f290ea8e2540a0f7091 |
---|---|
oai_identifier_str |
oai:www.lume.ufrgs.br:10183/220445 |
network_acronym_str |
URGS |
network_name_str |
Biblioteca Digital de Teses e Dissertações da UFRGS |
repository_id_str |
1853 |
spelling |
Pretto, Guilherme RexGaspary, Luciano Paschoal2021-05-04T04:26:57Z2021http://hdl.handle.net/10183/220445001124877Data centers, clusters e grid têm historicamente suporte para aplicações de computação de alto desempenho (HPC). Devido aos altos gastos de capital e operacionais associados a essas infraestruturas, presenciamos esforços consistentes para executar aplicações HPC na nuvem, recentemente. As vantagens potenciais dessa mudança incluem maior escalabilidade e baixos custos de manutenção. Se, por um lado, a instanciação de aplicações - por meio de máquinas virtuais (VMs) personalizadas - é um problema muito estudado, por outro, a rede ainda representa um gargalo significativo. Ao alternar as aplicações HPC para serem executados na nuvem, perdemos o controle de onde as VMs serão posicionadas e dos caminhos que serão percorridos para que os processos se comuniquem entre si. Para preencher essa lacuna, apresentamos Janus, uma estrutura para provisionamento de caminho dinâmico e just-in-time em infraestruturas de nuvem. Aproveitando os princípios de rede definidos por software emergentes, a estrutura permite que uma aplicação HPC, uma vez inicializada, tenha caminhos de comunicação entre processos configurados com base na utilização dos links de rede menos congestionados (em vez de recorrer a caminhos pré-computados mais curtos). Janus é totalmente configurável para lidar com diferentes parâmetros operacionais e estratégias de comunicação, fornecendo um rico ecossistema para acelerar a execução das aplicações. Por meio de uma extensa avaliação experimental, fornecemos evidências de que o framework proposto pode levar a ganhos significativos em relação ao tempo de execução. Além disso, mostramos o que se pode esperar em termos de sobrecarga do sistema, fornecendo insights essenciais sobre como obter melhor proveito do Janus.Data centers, clusters, and grids have historically supported High-Performance Computing (HPC) applications. Due to the high capital and operational expenditures associated with such infrastructures, we have witnessed consistent efforts to run HPC applications in the cloud in the recent past. The potential advantages of this shift include higher scalability and lower costs. If, on the one hand, app instantiation – through customized Virtual Machines (VMs) – is a well-studied issue, on the other, the network still represents a significant bottleneck. When switching HPC applications to be executed on the cloud, we lose control of where VMs will be positioned and of the paths that will be traversed for processes to communicate with one another. To bridge this gap, we present Janus, a framework for dynamic, just-in-time path provisioning in cloud infrastructures. By leveraging emerging software-defined networking principles, the framework allows for an HPC application, once deployed, to have interprocess communication paths configured upon usage based on least-used network links (instead of resorting to shortest, pre-computed paths). Janus is fully configurable to cope with different operating parameters and communication strategies, providing a rich ecosystem for application execution speed up. Through an extensive experimental evaluation, we provide evidence that the proposed framework can lead to significant gains regarding runtime. Moreover, we show what one can expect in terms of system overheads, providing essential insights on how better benefiting from Janus.application/pdfporComputação em nuvemComputação de alto desempenhoGerenciamento de redes : ComputadoresMaquinas virtuaisHPC applicationsCloud infrastructuresLink usage-aware path provisioningFrameworkJanus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioninginfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2021mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001124877.pdf.txt001124877.pdf.txtExtracted Texttext/plain124185http://www.lume.ufrgs.br/bitstream/10183/220445/2/001124877.pdf.txtc6672d7ccffcf2c90b4536b9e36a347aMD52ORIGINAL001124877.pdfTexto completoapplication/pdf974657http://www.lume.ufrgs.br/bitstream/10183/220445/1/001124877.pdf79f3241e6e4a6d0d4bbf7e156c5d5a09MD5110183/2204452024-04-03 06:43:24.549891oai:www.lume.ufrgs.br:10183/220445Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532024-04-03T09:43:24Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false |
dc.title.pt_BR.fl_str_mv |
Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning |
title |
Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning |
spellingShingle |
Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning Pretto, Guilherme Rex Computação em nuvem Computação de alto desempenho Gerenciamento de redes : Computadores Maquinas virtuais HPC applications Cloud infrastructures Link usage-aware path provisioning Framework |
title_short |
Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning |
title_full |
Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning |
title_fullStr |
Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning |
title_full_unstemmed |
Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning |
title_sort |
Janus : a framework to boost HPC applications in the cloud based on just-in-time and SDN/openFlow path provisioning |
author |
Pretto, Guilherme Rex |
author_facet |
Pretto, Guilherme Rex |
author_role |
author |
dc.contributor.author.fl_str_mv |
Pretto, Guilherme Rex |
dc.contributor.advisor1.fl_str_mv |
Gaspary, Luciano Paschoal |
contributor_str_mv |
Gaspary, Luciano Paschoal |
dc.subject.por.fl_str_mv |
Computação em nuvem Computação de alto desempenho Gerenciamento de redes : Computadores Maquinas virtuais |
topic |
Computação em nuvem Computação de alto desempenho Gerenciamento de redes : Computadores Maquinas virtuais HPC applications Cloud infrastructures Link usage-aware path provisioning Framework |
dc.subject.eng.fl_str_mv |
HPC applications Cloud infrastructures Link usage-aware path provisioning Framework |
description |
Data centers, clusters e grid têm historicamente suporte para aplicações de computação de alto desempenho (HPC). Devido aos altos gastos de capital e operacionais associados a essas infraestruturas, presenciamos esforços consistentes para executar aplicações HPC na nuvem, recentemente. As vantagens potenciais dessa mudança incluem maior escalabilidade e baixos custos de manutenção. Se, por um lado, a instanciação de aplicações - por meio de máquinas virtuais (VMs) personalizadas - é um problema muito estudado, por outro, a rede ainda representa um gargalo significativo. Ao alternar as aplicações HPC para serem executados na nuvem, perdemos o controle de onde as VMs serão posicionadas e dos caminhos que serão percorridos para que os processos se comuniquem entre si. Para preencher essa lacuna, apresentamos Janus, uma estrutura para provisionamento de caminho dinâmico e just-in-time em infraestruturas de nuvem. Aproveitando os princípios de rede definidos por software emergentes, a estrutura permite que uma aplicação HPC, uma vez inicializada, tenha caminhos de comunicação entre processos configurados com base na utilização dos links de rede menos congestionados (em vez de recorrer a caminhos pré-computados mais curtos). Janus é totalmente configurável para lidar com diferentes parâmetros operacionais e estratégias de comunicação, fornecendo um rico ecossistema para acelerar a execução das aplicações. Por meio de uma extensa avaliação experimental, fornecemos evidências de que o framework proposto pode levar a ganhos significativos em relação ao tempo de execução. Além disso, mostramos o que se pode esperar em termos de sobrecarga do sistema, fornecendo insights essenciais sobre como obter melhor proveito do Janus. |
publishDate |
2021 |
dc.date.accessioned.fl_str_mv |
2021-05-04T04:26:57Z |
dc.date.issued.fl_str_mv |
2021 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10183/220445 |
dc.identifier.nrb.pt_BR.fl_str_mv |
001124877 |
url |
http://hdl.handle.net/10183/220445 |
identifier_str_mv |
001124877 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFRGS instname:Universidade Federal do Rio Grande do Sul (UFRGS) instacron:UFRGS |
instname_str |
Universidade Federal do Rio Grande do Sul (UFRGS) |
instacron_str |
UFRGS |
institution |
UFRGS |
reponame_str |
Biblioteca Digital de Teses e Dissertações da UFRGS |
collection |
Biblioteca Digital de Teses e Dissertações da UFRGS |
bitstream.url.fl_str_mv |
http://www.lume.ufrgs.br/bitstream/10183/220445/2/001124877.pdf.txt http://www.lume.ufrgs.br/bitstream/10183/220445/1/001124877.pdf |
bitstream.checksum.fl_str_mv |
c6672d7ccffcf2c90b4536b9e36a347a 79f3241e6e4a6d0d4bbf7e156c5d5a09 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS) |
repository.mail.fl_str_mv |
lume@ufrgs.br||lume@ufrgs.br |
_version_ |
1810085551187951616 |