Simulação e estudo da plataforma Hadoop MapReduce em ambientes heterogêneos

• Autor(a) principal: Kolberg, Wagner
• Data de Publicação: 2010
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/28331
• topic: Computação em grade; Processamento paralelo; Grid; MapReduce; Hadoop; Heterogeneous environments; Scheduling; Framework; Parallel programming; Simulation

MapReduce é um modelo de programação voltado à computação paralela em larga escala, e ao processamento de grandes volumes de dados. A implementação do modelo, e as suposições feitas em relação ao ambiente sobre o qual será executado, influenciam fortemente no tempo de computação dos jobs submetidos. O Hadoop, uma das implementações mais populares do MapReduce, e que será estudada neste trabalho, supõe que o ambiente de execução é homogêneo, prejudicando o desempenho do framework quando a grade apresenta um certo nível de heterogeneidade no que toca a capacidade de processamento das máquinas que a constituem. Como ferramenta de análise para as adaptações propostas, é desenvolvido um simulador para o MapReduce — tendo como base o simulador de grades SimGrid — com o objetivo de facilitar a implementação e avaliação de novos algoritmos de escalonamento de tarefas e distribuição de dados, dentre outros. Dentre as vantagens proporcionadas pelo uso do simulador é possível citar: a facilidade na implementação de algoritmos teóricos; a agilidade em testes para uma grande variedade de configurações; e a possibilidade de avaliar rapidamente a escalabilidade de algoritmos sem custos de infraestrutura. Em relação ao simulador, é ainda apresentada uma validação de seu comportamento em relação ao Hadoop MapReduce, comparando execuções do sistema em uma grade, com simulações que emulam as configurações reais. Uma vez validado o simulador, o mesmo é utilizado para avaliar as adaptações do Hadoop a ambientes heterogêneos. Os resultados obtidos, tanto com a validação do simulador, quanto com a implementação das adaptações propostas, apresentaram resultados positivos, demostrando que é viável utilizar simulação para estudar e avaliar diferentes implementações para o modelo MapReduce. Este trabalho, portanto, consiste em um estudo do funcionamento interno do Hadoop MapReduce, seu comportamento em ambientes heterogêneos, e também propõe um novo simulador, com os recursos necessários para avaliar adaptações em implementações do MapReduce.