Modelo para estimar performance de um Cluster Hadoop

Detalhes bibliográficos
Autor(a) principal: Brito, José Benedito de Souza
Data de Publicação: 2014
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UnB
Texto Completo: http://repositorio.unb.br/handle/10482/17180
Resumo: Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2014.
id UNB_1a028b39cfcda02182f56d549565ed8f
oai_identifier_str oai:repositorio.unb.br:10482/17180
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Modelo para estimar performance de um Cluster HadoopAnálise por conglomeradosComputação de alto desempenhoProcessamento paralelo (Computação)Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2014.O volume, a variedade e a velocidade dos dados apresenta um grande desa o para extrair informações úteis em tempo hábil, sem gerar grandes impactos nos demais processamentos existentes nas organizações, impulsionando a utilização de clusters para armazenamento e processamento, e a utilização de computação em nuvem. Este cenário é propício para o Hadoop, um framework open source escalável e e ciente, para a execução de cargas de trabalho sobre Big Data. Com o advento da computação em nuvem um cluster com o framework Hadoop pode ser alocado em minutos, todavia, garantir que o Hadoop tenha um desempenho satisfatório para realizar seus processamentos apresenta vários desa os, como as necessidades de ajustes das con gurações do Hadoop às cargas de trabalho, alocar um cluster apenas com os recursos necessários para realizar determinados processamentos e de nir os recursos necessários para realizar um processamento em um intervalo de tempo conhecido. Neste trabalho, foi proposta uma abordagem que busca otimizar o framework Hadoop para determinada carga de trabalho e estimar os recursos computacionais necessário para realizar um processamento em determinado intervalo de tempo. A abordagem proposta é baseada na coleta de informações, base de regras para ajustes de con gurações do Hadoop, de acordo com a carga de trabalho, e simulações. A simplicidade e leveza do modelo permite que a solução seja adotada como um facilitador para superar os desa os apresentados pelo Big Data, e facilitar a de nição inicial de um cluster para o Hadoop, mesmo por usuários com pouca experiência em TI. O modelo proposto trabalha com o MapReduce para de nir os principais parâmetros de con guração e determinar recursos computacionais dos hosts do cluster para atender aos requisitos desejados de tempo de execução para determinada carga de trabalho. _______________________________________________________________________________ ABSTRACTThe volume, variety and velocity of data presents a great challenge to extracting useful information in a timely manner, without causing impacts on other existing processes in organizations, promoting the use of clusters for storage and processing, and the use of cloud computing. This a good scenario for the Hadoop an open source framework scalable and e cient for running workloads on Big Data. With the advent of cloud computing one cluster with Hadoop framework can be allocated in minutes, however, ensure that the Hadoop has a good performance to accomplish their processing has several challenges, such as needs tweaking the settings of Hadoop for their workloads, allocate a cluster with the necessary resources to perform certain processes and de ne the resources required to perform processing in a known time interval. In this work, an approach that seeks to optimize the Hadoop for a given workload and estimate the computational resources required to realize a processing in a given time interval was proposed. The approach is based on collecting information, based rules for adjusting Hadoop settings for certain workload and simulations. The simplicity and lightness of the model allows the solution be adopted how a facilitator to overcome the challenges presented by Big Data, and facilitate the use of the Hadoop, even by users with little IT experience. The proposed model works with the MapReduce to de ne the main con guration parameters and determine the computational resources of nodes of cluster, to meet the desired runtime for a given workload requirements.Instituto de Ciências Exatas (IE)Departamento de Ciência da Computação (IE CIC)Programa de Pós-Graduação em Computação Aplicada, Mestrado ProfissionalAraújo, Aletéia Patrícia Favacho deBrito, José Benedito de Souza2014-12-02T13:25:34Z2014-12-02T13:25:34Z2014-12-022014-07-09info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfBRITO, José Benedito de Souza. Modelo para estimar performance de um Cluster Hadoop. 2014. xvii, 97 f., il. Dissertação (Mestrado Profissional em Computação Aplicada)—Universidade de Brasília, Brasília, 2014.http://repositorio.unb.br/handle/10482/17180A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2024-03-14T16:14:26Zoai:repositorio.unb.br:10482/17180Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2024-03-14T16:14:26Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Modelo para estimar performance de um Cluster Hadoop
title Modelo para estimar performance de um Cluster Hadoop
spellingShingle Modelo para estimar performance de um Cluster Hadoop
Brito, José Benedito de Souza
Análise por conglomerados
Computação de alto desempenho
Processamento paralelo (Computação)
title_short Modelo para estimar performance de um Cluster Hadoop
title_full Modelo para estimar performance de um Cluster Hadoop
title_fullStr Modelo para estimar performance de um Cluster Hadoop
title_full_unstemmed Modelo para estimar performance de um Cluster Hadoop
title_sort Modelo para estimar performance de um Cluster Hadoop
author Brito, José Benedito de Souza
author_facet Brito, José Benedito de Souza
author_role author
dc.contributor.none.fl_str_mv Araújo, Aletéia Patrícia Favacho de
dc.contributor.author.fl_str_mv Brito, José Benedito de Souza
dc.subject.por.fl_str_mv Análise por conglomerados
Computação de alto desempenho
Processamento paralelo (Computação)
topic Análise por conglomerados
Computação de alto desempenho
Processamento paralelo (Computação)
description Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2014.
publishDate 2014
dc.date.none.fl_str_mv 2014-12-02T13:25:34Z
2014-12-02T13:25:34Z
2014-12-02
2014-07-09
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv BRITO, José Benedito de Souza. Modelo para estimar performance de um Cluster Hadoop. 2014. xvii, 97 f., il. Dissertação (Mestrado Profissional em Computação Aplicada)—Universidade de Brasília, Brasília, 2014.
http://repositorio.unb.br/handle/10482/17180
identifier_str_mv BRITO, José Benedito de Souza. Modelo para estimar performance de um Cluster Hadoop. 2014. xvii, 97 f., il. Dissertação (Mestrado Profissional em Computação Aplicada)—Universidade de Brasília, Brasília, 2014.
url http://repositorio.unb.br/handle/10482/17180
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1810580708604772352

Registros relacionados