Proposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dados

Detalhes bibliográficos
Autor(a) principal: Kraemer, Alessandro
Data de Publicação: 2017
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFPR
Texto Completo: https://hdl.handle.net/1884/56935
Resumo: Orientador: Carlos Alberto Maziero
id UFPR_5a6e6123312879e668b8b5587848cd46
oai_identifier_str oai:acervodigital.ufpr.br:1884/56935
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str 308
spelling Kraemer, AlessandroUniversidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaMaziero, Carlos Alberto2018-10-26T16:41:42Z2018-10-26T16:41:42Z2017https://hdl.handle.net/1884/56935Orientador: Carlos Alberto MazieroTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 11/12/2017Inclui referências: p.108-116Área de concentração: Ciência da ComputaçãoResumo: A computação de alto desempenho vem permitindo à ciência avançar rapidamente em muitas áreas do conhecimento. Por sua vez, as tecnologias de computação em nuvem proporcionam o acesso a recursos computacionais a muitos usuários. Ambas as tecnologias proporcionam ambientes de computação de larga escala, embora sejam usadas para propósitos distintos. Enquanto tecnologias de nuvem proporcionam computação diversa ao público como meio de negócio, tecnologias puramente HPC têm objetivo científico e seus usuários são especializados. Em centrais de dados é frequente a implantação separada de plataformas HPC e de nuvem em um mesmo supercomputador. Em geral, cada plataforma gerencia uma fila de entrada de aplicações, tem seu próprio domínio de processadores, memória e rede de comunicação. A nuvem é propícia à migração de aplicações de plataformas HPC, sendo vista como extensão de hardware virtual e software. Por outro lado, a migração de aplicações de nuvem para plataformas HPC é um tópico muito menos explorado. Não obstante, isso pode ser útil em alguns casos, em particular quando a plataforma HPC tem baixo nível de utilização de recursos e a utilização de recursos na nuvem é alta. Em nuvem, a alta utilização de seus recursos faz com que aplicações de menor prioridade sejam despejadas devido ao escalonamento com overbooking. Com base na literatura, identificou-se que o processo de despejo aumenta o número de violações de tempo de resposta das aplicações despejadas. A fim de reduzir o número de violações de tempo de resposta, propõe-se uma área de convergência nuvem-HPC em centrais de dados, abrangendo funções de previsão de violação, estratégias para escalonadores e escalonamento de aplicações. A proposta está formalmente definida, implementada em um simulador e avaliada em diferentes experimentos. Para tal, uma carga de trabalho HPC com 11K aplicações foi extraída do Grid de produção do Potsdam Institutefor Climate Impact Research. A quantidade e as características das apUcações de nuvem com potencial de despejo foram determinadas com base em documentos públicos do Google. O escalonador HPC proposto foi bem sucedido ao injetar 267K aplicações de nuvem com zero número de violação de tempo de resposta, considerando uma área de convergência com 320 processadores. Os resultados mostram que existe um número significativo de áreas de tempo ocioso no plano de escalonamento HPC, o que também tem sido observado em outros grids. Isso propícia a alocação por backfilling de um número elevado de apUcações como as de nuvem consideradas. No cenário com 10 processadores na área de convergência, o pior percentual de violações obtido foi de 0,002%. Não houve impacto relevante sobre o makespan da carga de trabalho HPC. Por fim, a estratégia de previsão mostrou-se eficiente com 0,96 de precisão média. Os resultados dos experimentos mostram que esta proposta é factível de ser implantada em centrais de dados e tem capacidade para reduzir o número de violações de tempo de resposta de aplicações de nuvem, com baixo impacto sobre o escalonamento HPC. Palavras-chave: escalonamento de tarefas, computação de alto desempenho, computação em nuvem, central de dados.Abstract: Science is enhancing rapidly in many knowledge areas due to high-performance computing. On the other hand, cloud computing technologies provide access to computating resources by many users. Both technologies provide large-scale computing environments, although they are used for different purposes: while cloud technologies provide diverse computing to the public users as a business, pure HPC technologies have a scientific purpose, and their users are specialized. In data centers, HPC and cloud platforms often are separately deployed on the same supercomputer. In general, each platform manages a job input queue, has its processors, memory, and communication network domains. The cloud is suitable to receive jobs migrated from HPC platforms, working as a virtual hardware and software extension to them. However, migrating cloud jobs to HPC platforms is a much less explored topic. Nevertheless, that may be useful in some cases, mainly when the HPC platform has a low resource utilization, and resource utilization in the cloud is high. In the cloud, the high resource utilization causes lower priority jobs eviction, due to overbooked scheduling. Based on the literature, the eviction procedure increases the number of response time violations for evicted applications. A cloud-HPC convergence area in data centers is proposed here, to reduce the number of response time violations. The proposal includes violation prediction functions, strategies for schedulers, and job scheduling. The proposal is formally defined, implemented in a simulator, and evaluated in different experiments. For thata, an HPC workload with 1 IK jobs collected from the production Grid of the Potsdam Institute for Climate Impact Research was used to evaluate the proposal. The number and characteristics of cloud jobs with dump potential were determined based on Google's public documents. The proposed HPC scheduler obtained success in injecting 267K cloud jobs in the HPC platform, resulting in zero response time violations, considering a convergence area set to 320 processors. The results show that there is a significant number of idle time areas in the HPC scheduling plane, which has also been observed in other grids. That facilitates the allocation by backfilling for a large number of jobs such as the cloud considered. In the scenario set to 10 processors in the convergence area, the worst violation percentage obtained was 0.002%. There was no critical impact on the HPC workload makespan. Finally, the prediction strategy was efficient, resulting the average precision of 0.96. The results of the experiments show that this proposal is feasible to be deployed in data centers and can reduce the number of response time violations for cloud jobs, with low impact on the HPC scheduling. Keywords: job scheduling, high-performance computing, cloud computing, data center.128 p. : il.application/pdfComputação em nuvemCiência da ComputaçãoCentros de processamento de dadosComputação de alto desempenhoProposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dadosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - T - ALESSANDRO KRAEMER.pdfapplication/pdf11041711https://acervodigital.ufpr.br/bitstream/1884/56935/1/R%20-%20T%20-%20ALESSANDRO%20KRAEMER.pdf1c4418c5ee39d0464e2ff96724b90b24MD51open access1884/569352018-10-26 13:41:42.709open accessoai:acervodigital.ufpr.br:1884/56935Repositório de PublicaçõesPUBhttp://acervodigital.ufpr.br/oai/requestopendoar:3082018-10-26T16:41:42Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Proposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dados
title Proposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dados
spellingShingle Proposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dados
Kraemer, Alessandro
Computação em nuvem
Ciência da Computação
Centros de processamento de dados
Computação de alto desempenho
title_short Proposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dados
title_full Proposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dados
title_fullStr Proposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dados
title_full_unstemmed Proposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dados
title_sort Proposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dados
author Kraemer, Alessandro
author_facet Kraemer, Alessandro
author_role author
dc.contributor.other.pt_BR.fl_str_mv Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.author.fl_str_mv Kraemer, Alessandro
dc.contributor.advisor1.fl_str_mv Maziero, Carlos Alberto
contributor_str_mv Maziero, Carlos Alberto
dc.subject.por.fl_str_mv Computação em nuvem
Ciência da Computação
Centros de processamento de dados
Computação de alto desempenho
topic Computação em nuvem
Ciência da Computação
Centros de processamento de dados
Computação de alto desempenho
description Orientador: Carlos Alberto Maziero
publishDate 2017
dc.date.issued.fl_str_mv 2017
dc.date.accessioned.fl_str_mv 2018-10-26T16:41:42Z
dc.date.available.fl_str_mv 2018-10-26T16:41:42Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/56935
url https://hdl.handle.net/1884/56935
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 128 p. : il.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/56935/1/R%20-%20T%20-%20ALESSANDRO%20KRAEMER.pdf
bitstream.checksum.fl_str_mv 1c4418c5ee39d0464e2ff96724b90b24
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv
_version_ 1801860749789757440

Registros relacionados