Reduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernet

Detalhes bibliográficos
Autor(a) principal: Dias, Jorgi Luiz Bolonhezi
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPR
Texto Completo: https://hdl.handle.net/1884/76113
Resumo: Orientador: Luiz Carlos Pessoa Albini
id UFPR_3372fdca8e82d82d3fdfe1ebc9a123aa
oai_identifier_str oai:acervodigital.ufpr.br:1884/76113
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str 308
spelling Almeida, Leandro Batista deUniversidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaAlbini, Luiz Carlos Pessoa, 1976-Dias, Jorgi Luiz Bolonhezi2022-11-03T11:58:11Z2022-11-03T11:58:11Z2022https://hdl.handle.net/1884/76113Orientador: Luiz Carlos Pessoa AlbiniCoorientador: Leandro Batista De AlmeidaDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 25/02/2022Inclui referências: p. 67-72Área de concentração: Ciência da ComputaçãoResumo: O consumo de energia é um dos maiores desafios na infraestrutura de processamento de Big Data. Atualmente os gastos com energia são ainda maiores do que na aquisição do hardware, representando 75% do custo total dos data centers. Aproximadamente 30% de toda a energia do data center é consumida por switches de rede. O Energy Efficient Ethernet é um padrão recente que visa reduzir o consumo de energia, embora a prática atual na indústria seja desativá-lo em produção, pois pode causar sobrecargas na rede e perda de desempenho. Esta dissertação fornece uma visão geral de como a atual versão do Apache Hadoop, a 3.x, se comporta com o Energy Efficient Ethernet habilitado para links de 1GbE até 400GbE. Os resultados apresentados mostram que há economia de energia significativa com pouca ou nenhuma perda de desempenho para conexões de até 40GbE. No entanto, conexões de 100GbE e 400GbE apresentam perdas significativas de desempenho devido ao despertar do link para transmissões de um único frame.Abstract: Energy consumption is one of the major challenges on the big data processing infrastructure. The energy expenses are even higher than hardware, accounting for 75% of the total cost of nowadays data centers. Narrowing, approximately 30% of all data center energy is consumed by the network switches. Energy Efficient Ethernet is a recent standard aiming at reduce network power consumption, notwithstanding the current practice in industry is to disable it in production use, since it can cause network overloads and performance loss. This thesis provides an overview on how Apache Hadoop 3.x, the current version, behaves with Energy Efficient Ethernet enabled for links from 1GbE up to 400GbE links. Presented results show that there is significant energy savings with little or no performance loss for connections up to 40GbE. Nevertheless, connections of 100GbE and 400GbE present significant performance losses due to link wake up to single transmissions.1 recurso online : PDF.application/pdfBig dataCiência da ComputaçãoReduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernetinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - D - JORGI LUIZ BOLONHEZI DIAS.pdfapplication/pdf27619958https://acervodigital.ufpr.br/bitstream/1884/76113/1/R%20-%20D%20-%20JORGI%20LUIZ%20BOLONHEZI%20DIAS.pdfec7979ca7ca0832327c10756d14fa877MD51open access1884/761132022-11-03 08:58:11.233open accessoai:acervodigital.ufpr.br:1884/76113Repositório de PublicaçõesPUBhttp://acervodigital.ufpr.br/oai/requestopendoar:3082022-11-03T11:58:11Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Reduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernet
title Reduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernet
spellingShingle Reduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernet
Dias, Jorgi Luiz Bolonhezi
Big data
Ciência da Computação
title_short Reduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernet
title_full Reduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernet
title_fullStr Reduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernet
title_full_unstemmed Reduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernet
title_sort Reduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernet
author Dias, Jorgi Luiz Bolonhezi
author_facet Dias, Jorgi Luiz Bolonhezi
author_role author
dc.contributor.other.pt_BR.fl_str_mv Almeida, Leandro Batista de
Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.advisor1.fl_str_mv Albini, Luiz Carlos Pessoa, 1976-
dc.contributor.author.fl_str_mv Dias, Jorgi Luiz Bolonhezi
contributor_str_mv Albini, Luiz Carlos Pessoa, 1976-
dc.subject.por.fl_str_mv Big data
Ciência da Computação
topic Big data
Ciência da Computação
description Orientador: Luiz Carlos Pessoa Albini
publishDate 2022
dc.date.accessioned.fl_str_mv 2022-11-03T11:58:11Z
dc.date.available.fl_str_mv 2022-11-03T11:58:11Z
dc.date.issued.fl_str_mv 2022
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/76113
url https://hdl.handle.net/1884/76113
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 1 recurso online : PDF.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/76113/1/R%20-%20D%20-%20JORGI%20LUIZ%20BOLONHEZI%20DIAS.pdf
bitstream.checksum.fl_str_mv ec7979ca7ca0832327c10756d14fa877
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv
_version_ 1813898700428148736

Registros relacionados