Uma abordagem semântica baseada em ontologia para sintonia de parâmetros : um estudo de caso para MapReduce

Detalhes bibliográficos
Autor(a) principal: Bonifacio, Ailton Sergio, 1968-
Data de Publicação: 2014
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFPR
Texto Completo: https://hdl.handle.net/1884/73194
Resumo: Orientador: Prof. Dr. Fabiano Silva
id UFPR_a165b725a1f3ee3b220f9bb73ba964d7
oai_identifier_str oai:acervodigital.ufpr.br:1884/73194
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str 308
spelling Bonifacio, Ailton Sergio, 1968-Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaSilva, Fabiano, 1972-2022-05-27T12:19:05Z2022-05-27T12:19:05Z2014https://hdl.handle.net/1884/73194Orientador: Prof. Dr. Fabiano SilvaTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 15/10/2014Inclui referências: p. 97-104Área de concentração: Ciência da ComputaçãoResumo: MapReduce é um framework para processamento de grandes volumes de dados; e Hadoop é a sua implementação de código aberto mais conhecida e utilizada. Hadoop possui mais de uma centena de parâmetros de configuração e, destes, cerca de 29 parâmetros devem ser sintonizados, a fim de obter um melhor desempenho das aplicações a ele submetidas. No entanto, a melhor sintonização dos parâmetros não é uma tarefa muito simples de ser realizada. Além disso, o conhecimento para se saber quais os parâmetros que devem ser sintonizados e quais os melhores valores para eles só estão nos trabalhos científicos e livros que tratam especificamente deste assunto. Portanto, é necessária a criação de ferramentas ou ambientes que promovam e motivem o compartilhamento de informação e disseminação do conhecimento a respeito deste assunto. Dessa forma, é importante que todo o conhecimento adquirido seja organizado, com o objetivo de ser reutilizado o mais rápido, fácil e eficientemente possível, quando necessário. Sendo assim, este trabalho propõe uma abordagem semântica baseada em ontologia para a sintonia dos parâmetros de configuração do Hadoop MapReduce, com o objetivo de melhorar o desempenho das aplicações. Trata-se de um estudo que explora e visa compreender o framework Hadoop, seus parâmetros de configuração e as relações destes parâmetros com os padrões das cargas de trabalho que o utilizam. Para isso, foi elaborada uma revisão sistemática sobre o assunto e, baseada no conhecimento adquirido nesta revisão, foi modelada e implementada uma ontologia chamada OntoHadoop. O foco da ontologia é a representação do conhecimento semântico necessário para se obter a melhor sintonia dos parâmetros de configuração do Hadoop que têm influência sobre o desempenho das aplicações. O conhecimento semântico explora as características da carga de trabalho, bem como a taxonomia dos conceitos, propriedades, relações e axiomas da ontologia. Baseada na ontologia, foram definidas a arquitetura da abordagem e dos processos que criam as unidades de sintonia dos parâmetros. Por fim, a ontologia foi avaliada por consultas e inferências nas regras implementadas; e a abordagem semântica simulada como um ambiente computacional implementado. Os resultados obtidos ratificam o propósito de uma base de conhecimento sobre o assunto e se mostram promissores no sentido de indicarem sintonias relevantes para se alcançar um melhor desempenho das aplicações submetidas ao Hadoop. Isto é possível, principalmente, através de regras de caracterização de padrões das cargas de trabalho e regras de sintonia de parâmetros implementadas na ontologia. Além disso, a abordagem proposta direciona a tarefa de obtenção de sintonia de parâmetros rumo a Web Semântica.Abstract: MapReduce is a framework for processing large volumes of data; and Hadoop is the most know and used open source implementation. Hadoop has over a hundred configuration parameters and around 29 parameters should be tuned in order to obtain a better application performance. However, the best parameters tuning is not very simple task to be performed. Furthermore, the knowledge to know which parameters should be tuned and what the best values for them remain just in scientific papers and books which specifically dealing with this subject. Therefore, it is necessary to create tools or environments that will promote and motivate the information sharing and knowledge dissemination on this issue. Therefore, it is important that all knowledge acquired should be organized in order to be reused quickly, easily and efficiently as possible, when necessary. Thus, this work proposes an ontology-based semantic approach to tune the Hadoop MapReduce configuration parameters, aiming to improve application performance. This is a study that explores and aims to understand the Hadoop framework, its configuration parameters and the relationships of those parameters with the workload patterns that use it. For this, we developed a systematic review about it and, based on the knowledge acquired in this review, was modeled and implemented an ontology called OntoHadoop. The focus of ontology is the semantic knowledge representation needed to obtain the best Hadoop configuration parameters tuning that influence the performance of applications. Semantic knowledge explores the workload characteristics, as well as the taxonomy of concepts, properties, relations and axioms of the ontology. The approach architecture and the processes that create the units tuning parameters were defined based on ontology. Finally, the ontology was evaluated by queries and inferences in the implemented rules; and the simulated semantic approach as a computational environment implemented. The results confirm the purpose of a knowledge base about it and show promise towards indicate relevant tunings to achieve a better application performance. This is possible mainly through workload patterns rules and parameters tuning rules implemented in the ontology. Furthermore, the proposed approach directs the task of obtaining tuning parameters towards the Semantic Web.1 recurso online : PDF.application/pdfFramework (Programa de computador)Processamento eletronico de dadosCiência da ComputaçãoOntologiaUma abordagem semântica baseada em ontologia para sintonia de parâmetros : um estudo de caso para MapReduceinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - T - AILTON SERGIO BONIFACIO.pdfapplication/pdf4491732https://acervodigital.ufpr.br/bitstream/1884/73194/1/R%20-%20T%20-%20AILTON%20SERGIO%20BONIFACIO.pdfa84298699991e66e4c78d465a150bf48MD51open access1884/731942022-05-27 09:19:05.296open accessoai:acervodigital.ufpr.br:1884/73194Repositório de PublicaçõesPUBhttp://acervodigital.ufpr.br/oai/requestopendoar:3082022-05-27T12:19:05Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Uma abordagem semântica baseada em ontologia para sintonia de parâmetros : um estudo de caso para MapReduce
title Uma abordagem semântica baseada em ontologia para sintonia de parâmetros : um estudo de caso para MapReduce
spellingShingle Uma abordagem semântica baseada em ontologia para sintonia de parâmetros : um estudo de caso para MapReduce
Bonifacio, Ailton Sergio, 1968-
Framework (Programa de computador)
Processamento eletronico de dados
Ciência da Computação
Ontologia
title_short Uma abordagem semântica baseada em ontologia para sintonia de parâmetros : um estudo de caso para MapReduce
title_full Uma abordagem semântica baseada em ontologia para sintonia de parâmetros : um estudo de caso para MapReduce
title_fullStr Uma abordagem semântica baseada em ontologia para sintonia de parâmetros : um estudo de caso para MapReduce
title_full_unstemmed Uma abordagem semântica baseada em ontologia para sintonia de parâmetros : um estudo de caso para MapReduce
title_sort Uma abordagem semântica baseada em ontologia para sintonia de parâmetros : um estudo de caso para MapReduce
author Bonifacio, Ailton Sergio, 1968-
author_facet Bonifacio, Ailton Sergio, 1968-
author_role author
dc.contributor.other.pt_BR.fl_str_mv Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.author.fl_str_mv Bonifacio, Ailton Sergio, 1968-
dc.contributor.advisor1.fl_str_mv Silva, Fabiano, 1972-
contributor_str_mv Silva, Fabiano, 1972-
dc.subject.por.fl_str_mv Framework (Programa de computador)
Processamento eletronico de dados
Ciência da Computação
Ontologia
topic Framework (Programa de computador)
Processamento eletronico de dados
Ciência da Computação
Ontologia
description Orientador: Prof. Dr. Fabiano Silva
publishDate 2014
dc.date.issued.fl_str_mv 2014
dc.date.accessioned.fl_str_mv 2022-05-27T12:19:05Z
dc.date.available.fl_str_mv 2022-05-27T12:19:05Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/73194
url https://hdl.handle.net/1884/73194
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 1 recurso online : PDF.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/73194/1/R%20-%20T%20-%20AILTON%20SERGIO%20BONIFACIO.pdf
bitstream.checksum.fl_str_mv a84298699991e66e4c78d465a150bf48
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv
_version_ 1801860890444693504

Registros relacionados