Caracterização do consumo energético do Hadoop MapReduce

• Autor(a) principal: Rodrigues, Flavio Alles
• Data de Publicação: 2013
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/86161
• topic: Computação em grade; Arquitetura : Computadores; Data-intensive computing; MapReduce; Green computing; Energy consumption

O crescimento exponencial do poder computacional, das fontes de geração de dados e da capacidade de comunicação em tecnologias recentes criou uma nova categoria de aplicações computacionais: aplicações intensivas em dados. O aumento dos conjuntos de dados é verificado em diversas áreas do conhecimento e atuação humanas. Deste contexto surge a necessidade do desenvolvimento de frameworks capazes de armazenar e processar dados em larga escala em um tempo aceitável. MapReduce, desenvolvido pelo Google, é um modelo de programação paralelo com uma implementação associada criado para o processamento de grandes quantidades de dados. O usuário deste framework precisa definir somente duas funções (map e reduce) e o runtime se encarrega de lidar de forma transparente ao programador com questões advindas da paralelização da computação, como a distribuição dos dados, escalonamento de tarefas, comunicação entre processos e tolerância a falhas. Porém, esta demanda pelo processamento de quantidades crescentes de dados tem como consequência uma demanda maior por recursos computacionais para processar uma mesma aplicação. O grande problema que esta demanda crescente por recursos computacionais gera é um - também - crescente consumo energético. Esta situação é crítica por duas razões - uma de motivação financeira e outra de motivação ambiental. Por estas razões, é imperativo que sistemas computacionais sejam projetados para serem cientes do consumo energético. A partir destas considerações, este trabalho tem como objetivo caracterizar o consumo energético de um sistema de processamento de grandes quantidades de dados. Hadoop - implementação de código aberto do modelo de programação MapReduce - é o sistema escolhido para a caracterização. A caracterização do consumo de energia deste sistema é acompanhada de considerações sobre o desempenho do framework para que o consumo de energia não seja considerado de maneira isolada e, sim, sob uma perspectiva mais ampla.