Migration and evaluation of a numerical weather prediction application in a cloud computing infrastructure

Detalhes bibliográficos
Autor(a) principal: Carreño, Emmanuell Diaz
Data de Publicação: 2015
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/127446
Resumo: O uso de clusters e grids tem beneficiado durante anos a comunidade de computação de alto desempenho (HPC). O uso deste tipo de sistemas tem permitido aos cientistas usar conjuntos de dados maiores para executar cálculos mais complexos. A computação de alto desempenho tem ajudado para obter aqueles resultados em menos tempo, mas aumentou o custo das despesas de capital nesta área da ciência. Como alguns projetos de e-science são realizados também em ambientes de rede altamente distribuídos, ou usando conjuntos de dados imensos que muitas vezes requerem computação em grade, eles são muito bons candidatos para as iniciativas de computação em nuvem. O paradigma Cloud Computing surgiu como uma solução prática com foco comercial para realizar computação científica em larga escala. A elasticidade da nuvem e o modelo pay-as-you-go apresenta uma oportunidade interessante para aplicações comumente executados em supercomputadores ou clusters. Esta tese apresenta e avalia os desafios da migração e execução da previsão numérica de tempo (NWP) numa infra-estrutura de computação em nuvem. Foi realizada a migração desta aplicação HPC e foi avaliado o desempenho em um cluster local e na nuvem utilizando diferentes tamanhos de instâncias virtuais. Analisamos as principais características da aplicação executando na nuvem. As experiências demonstram que, embora o processamento e a rede criam um fator limitante, o armazenamento dos conjuntos de dados de entrada e saída na nuvem apresentam uma opção atraente para compartilhar resultados e facilitar a implantação de um ambiente de ensaio para investigação meteorológica. Os resultados mostram que a infraestrutura de nuvem pode ser usada como uma alternativa viável de HPC para software de previsão numérica do tempo.
id URGS_b6672fff844fd3a31c5842d1c260c401
oai_identifier_str oai:www.lume.ufrgs.br:10183/127446
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Carreño, Emmanuell DiazNavaux, Philippe Olivier Alexandre2015-10-03T02:37:37Z2015http://hdl.handle.net/10183/127446000974433O uso de clusters e grids tem beneficiado durante anos a comunidade de computação de alto desempenho (HPC). O uso deste tipo de sistemas tem permitido aos cientistas usar conjuntos de dados maiores para executar cálculos mais complexos. A computação de alto desempenho tem ajudado para obter aqueles resultados em menos tempo, mas aumentou o custo das despesas de capital nesta área da ciência. Como alguns projetos de e-science são realizados também em ambientes de rede altamente distribuídos, ou usando conjuntos de dados imensos que muitas vezes requerem computação em grade, eles são muito bons candidatos para as iniciativas de computação em nuvem. O paradigma Cloud Computing surgiu como uma solução prática com foco comercial para realizar computação científica em larga escala. A elasticidade da nuvem e o modelo pay-as-you-go apresenta uma oportunidade interessante para aplicações comumente executados em supercomputadores ou clusters. Esta tese apresenta e avalia os desafios da migração e execução da previsão numérica de tempo (NWP) numa infra-estrutura de computação em nuvem. Foi realizada a migração desta aplicação HPC e foi avaliado o desempenho em um cluster local e na nuvem utilizando diferentes tamanhos de instâncias virtuais. Analisamos as principais características da aplicação executando na nuvem. As experiências demonstram que, embora o processamento e a rede criam um fator limitante, o armazenamento dos conjuntos de dados de entrada e saída na nuvem apresentam uma opção atraente para compartilhar resultados e facilitar a implantação de um ambiente de ensaio para investigação meteorológica. Os resultados mostram que a infraestrutura de nuvem pode ser usada como uma alternativa viável de HPC para software de previsão numérica do tempo.The usage of clusters and grids has benefited for years the High Performance Computing (HPC) community. These kind of systems have allowed scientists to use bigger datasets and to perform more intensive computations, helping them to achieve results in less time but has also increased the upfront costs associated with this area of science. As some e-Science projects are carried out also in highly distributed network environments or using immense data sets that sometimes require grid computing, they are good candidates for cloud computing initiatives. The Cloud Computing paradigm has emerged as a practical solution to perform large-scale scientific computing. The elasticity of the cloud and its pay-as-you-go model presents an attractive opportunity for applications commonly executed in clusters or supercomputers. In this context, the user does not need to buy infrastructure, the resources can be rented from a provider and used for a period of time. This thesis presents the challenges and solutions of migrating a numerical weather prediction (NWP) application to a cloud computing infrastructure. We performed the migration of this HPC application and evaluated its performance in a local cluster and the cloud using different instance sizes. We analyzed the main characteristics of the application running in the cloud. The experiments demonstrate that, although processing and networking create a limiting factor, storing input and output datasets in the cloud presents an attractive option to share results and ease the deployment of a test-bed for a weather research platform. Results show that cloud infrastructure can be used as a viable HPC alternative for numerical weather prediction software.application/pdfengComputação em nuvemComputacao cientifica : Alto desempenhoPrevisão do tempoCloud computingHigh performance computinge-ScienceNumerical weather predictionMigration and evaluation of a numerical weather prediction application in a cloud computing infrastructureMigração e avaliação de uma aplicação de previsão numérica do tempo em uma infrastructura de computação em nuvem info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2015mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT000974433.pdf.txt000974433.pdf.txtExtracted Texttext/plain137348http://www.lume.ufrgs.br/bitstream/10183/127446/2/000974433.pdf.txt35e9f9742527d29f5d4c4f1f5a79bab8MD52ORIGINAL000974433.pdf000974433.pdfTexto completo (inglês)application/pdf6928238http://www.lume.ufrgs.br/bitstream/10183/127446/1/000974433.pdf7e1da0a171f8f21334a7f9112c391267MD51THUMBNAIL000974433.pdf.jpg000974433.pdf.jpgGenerated Thumbnailimage/jpeg1051http://www.lume.ufrgs.br/bitstream/10183/127446/3/000974433.pdf.jpg931a78827cb44d3f04289707fa5b457cMD5310183/1274462021-05-26 04:47:03.295237oai:www.lume.ufrgs.br:10183/127446Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532021-05-26T07:47:03Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Migration and evaluation of a numerical weather prediction application in a cloud computing infrastructure
dc.title.alternative.pt.fl_str_mv Migração e avaliação de uma aplicação de previsão numérica do tempo em uma infrastructura de computação em nuvem
title Migration and evaluation of a numerical weather prediction application in a cloud computing infrastructure
spellingShingle Migration and evaluation of a numerical weather prediction application in a cloud computing infrastructure
Carreño, Emmanuell Diaz
Computação em nuvem
Computacao cientifica : Alto desempenho
Previsão do tempo
Cloud computing
High performance computing
e-Science
Numerical weather prediction
title_short Migration and evaluation of a numerical weather prediction application in a cloud computing infrastructure
title_full Migration and evaluation of a numerical weather prediction application in a cloud computing infrastructure
title_fullStr Migration and evaluation of a numerical weather prediction application in a cloud computing infrastructure
title_full_unstemmed Migration and evaluation of a numerical weather prediction application in a cloud computing infrastructure
title_sort Migration and evaluation of a numerical weather prediction application in a cloud computing infrastructure
author Carreño, Emmanuell Diaz
author_facet Carreño, Emmanuell Diaz
author_role author
dc.contributor.author.fl_str_mv Carreño, Emmanuell Diaz
dc.contributor.advisor1.fl_str_mv Navaux, Philippe Olivier Alexandre
contributor_str_mv Navaux, Philippe Olivier Alexandre
dc.subject.por.fl_str_mv Computação em nuvem
Computacao cientifica : Alto desempenho
Previsão do tempo
topic Computação em nuvem
Computacao cientifica : Alto desempenho
Previsão do tempo
Cloud computing
High performance computing
e-Science
Numerical weather prediction
dc.subject.eng.fl_str_mv Cloud computing
High performance computing
e-Science
Numerical weather prediction
description O uso de clusters e grids tem beneficiado durante anos a comunidade de computação de alto desempenho (HPC). O uso deste tipo de sistemas tem permitido aos cientistas usar conjuntos de dados maiores para executar cálculos mais complexos. A computação de alto desempenho tem ajudado para obter aqueles resultados em menos tempo, mas aumentou o custo das despesas de capital nesta área da ciência. Como alguns projetos de e-science são realizados também em ambientes de rede altamente distribuídos, ou usando conjuntos de dados imensos que muitas vezes requerem computação em grade, eles são muito bons candidatos para as iniciativas de computação em nuvem. O paradigma Cloud Computing surgiu como uma solução prática com foco comercial para realizar computação científica em larga escala. A elasticidade da nuvem e o modelo pay-as-you-go apresenta uma oportunidade interessante para aplicações comumente executados em supercomputadores ou clusters. Esta tese apresenta e avalia os desafios da migração e execução da previsão numérica de tempo (NWP) numa infra-estrutura de computação em nuvem. Foi realizada a migração desta aplicação HPC e foi avaliado o desempenho em um cluster local e na nuvem utilizando diferentes tamanhos de instâncias virtuais. Analisamos as principais características da aplicação executando na nuvem. As experiências demonstram que, embora o processamento e a rede criam um fator limitante, o armazenamento dos conjuntos de dados de entrada e saída na nuvem apresentam uma opção atraente para compartilhar resultados e facilitar a implantação de um ambiente de ensaio para investigação meteorológica. Os resultados mostram que a infraestrutura de nuvem pode ser usada como uma alternativa viável de HPC para software de previsão numérica do tempo.
publishDate 2015
dc.date.accessioned.fl_str_mv 2015-10-03T02:37:37Z
dc.date.issued.fl_str_mv 2015
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/127446
dc.identifier.nrb.pt_BR.fl_str_mv 000974433
url http://hdl.handle.net/10183/127446
identifier_str_mv 000974433
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/127446/2/000974433.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/127446/1/000974433.pdf
http://www.lume.ufrgs.br/bitstream/10183/127446/3/000974433.pdf.jpg
bitstream.checksum.fl_str_mv 35e9f9742527d29f5d4c4f1f5a79bab8
7e1da0a171f8f21334a7f9112c391267
931a78827cb44d3f04289707fa5b457c
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1800309070783053824