Uma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativos

Detalhes bibliográficos
Autor(a) principal: Marynowski, João Eugenio
Data de Publicação: 2013
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFPR
Texto Completo: https://hdl.handle.net/1884/35045
Resumo: Orientador : Prof. Dr. Andrey Ricardo Pimentel
id UFPR_4ac9469ce818c520c3660b0ca5c86d83
oai_identifier_str oai:acervodigital.ufpr.br:1884/35045
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str 308
spelling Pimentel, Andrey Ricardo, 1965-Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaMarynowski, João Eugenio2024-02-01T19:43:24Z2024-02-01T19:43:24Z2013https://hdl.handle.net/1884/35045Orientador : Prof. Dr. Andrey Ricardo PimentelTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa: Curitiba, 08/11/2013Inclui referênciasResumo: Os sistemas MapReduce facilitam a utilização de um grande número de máquinas para processar uma grande quantidade de dados, e têm sido utilizados por diversas aplicações, que incluem desde ferramentas de pesquisa até sistemas comerciais e financeiros. Uma das principais características dos sistemas MapReduce é abstrair problemas relacionados ao ambiente distribuído, tais como a distribuição do processamento e a tolerância a falhas. Com isso, torna-se imprescindível garantir a dependabilidade dos sistemas MapReduce, ou seja, garantir que esses sistemas funcionem corretamente mesmo na presença de falhas. Por outro lado, a falta de determinismo de um ambiente distribuído e a falta de confiabilidade do ambiente físico, podem gerar erros nos sistemas MapReduce que sejam difíceis de serem encontrados, entendidos e corrigidos. Esta tese apresenta a primeira abordagem conhecida para o teste de dependabilidade para sistemas MapReduce. Este trabalho apresenta uma definição para o teste de dependabilidade, uma modelagem do mecanismo de tolerância a falhas do MapReduce, um processo para gerar casos de falha representativos a partir de um modelo, e uma plataforma de teste para automatizar a execução de casos de falha em um ambiente distribuído. Este trabalho ainda apresenta uma nova abordagem para modelar componentes distribuídos usando redes de Petri. Essa nova abordagem permite representar a dinâmica dos componentes e a independência de suas ações e estados. Resultados experimentais são apresentados e mostram que os casos de falha gerados a partir do modelo são representativos para o teste do sistema Hadoop, principal implementação de código aberto do MapReduce. Através dos experimentos, diversos erros são encontrados no Hadoop, e os resultados também comprovam que a plataforma de teste automatiza a execução dos casos de falha representativos. Além disso, a plataforma apresenta as propriedades requeridas para uma plataforma de teste, que são a controlabilidade, medição temporal, não-intrusividade, repetibilidade, e a eficácia na identificação de sistemas com erros.Abstract: MapReduce systems allow the use of a large number of machines to process a big amount of data, and have been used for several applications, ranging from search engines to financial and commercial systems. A key feature of MapReduce systems is abstract distributed environment issues, such as fault tolerance and processing distribution. Thus, it is essential to ensure the dependability of MapReduce systems, i.e., ensure that these systems can execute correctly and without interruption, even in the presence of failures. On the other hand, the lack of determinism in a distributed environment and the lack of reliability of physical environments may cause errors in MapReduce systems that are dificult to find, to define and to correct. This thesis presents the first known approach to the dependability test of MapReduce systems. This work presents a dependability testing definition, a MapReduce fault tolerance mechanism model, a process to generate representative fault cases from the model, and a testing framework to automate the execution of the fault cases in a distributed environment. This work also presents a new approach to model distributed components using Petri nets. The new approach allows representing the dynamic of the components and the independence of their actions and states. Experimental results are presented and show that the generated fault cases are representative to test the Hadoop system, that is the main MapReduce open source implementation. Several errors are identified and the experiments also confirmed that the testing framework automates the execution of representative fault cases. Furthermore, the presented framework includes the required properties for a testing platform, that are: controllability, time measurement, nonintrusiveness, repeatability, and the effectiveness in the identification of system errors.100f. : il., grafs., tabs.application/pdfDisponível em formato digitalCiência da computaçãoTolerancia a falha (Computação)Processamento eletronico de dados - ProcessamentoUma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - T - JOAO EUGENIO MARYNOWSKI.pdfapplication/pdf6350462https://acervodigital.ufpr.br/bitstream/1884/35045/1/R%20-%20T%20-%20JOAO%20EUGENIO%20MARYNOWSKI.pdf2c5a4830461b67c39ecccdd986208f0bMD51open accessTEXTR - T - JOAO EUGENIO MARYNOWSKI.pdf.txtExtracted Texttext/plain187366https://acervodigital.ufpr.br/bitstream/1884/35045/2/R%20-%20T%20-%20JOAO%20EUGENIO%20MARYNOWSKI.pdf.txtc7d91a6b03749a75fb2bab8628da4b24MD52open accessTHUMBNAILR - T - JOAO EUGENIO MARYNOWSKI.pdf.jpgGenerated Thumbnailimage/jpeg1246https://acervodigital.ufpr.br/bitstream/1884/35045/3/R%20-%20T%20-%20JOAO%20EUGENIO%20MARYNOWSKI.pdf.jpg4183a214693e47faaa076e37751b3743MD53open access1884/350452024-02-01 16:43:24.675open accessoai:acervodigital.ufpr.br:1884/35045Repositório de PublicaçõesPUBhttp://acervodigital.ufpr.br/oai/requestopendoar:3082024-02-01T19:43:24Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Uma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativos
title Uma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativos
spellingShingle Uma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativos
Marynowski, João Eugenio
Ciência da computação
Tolerancia a falha (Computação)
Processamento eletronico de dados - Processamento
title_short Uma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativos
title_full Uma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativos
title_fullStr Uma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativos
title_full_unstemmed Uma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativos
title_sort Uma abordagem para o teste de dependabilidade de sistemas MapReduce com base em casos de falha representativos
author Marynowski, João Eugenio
author_facet Marynowski, João Eugenio
author_role author
dc.contributor.other.pt_BR.fl_str_mv Pimentel, Andrey Ricardo, 1965-
Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.author.fl_str_mv Marynowski, João Eugenio
dc.subject.por.fl_str_mv Ciência da computação
Tolerancia a falha (Computação)
Processamento eletronico de dados - Processamento
topic Ciência da computação
Tolerancia a falha (Computação)
Processamento eletronico de dados - Processamento
description Orientador : Prof. Dr. Andrey Ricardo Pimentel
publishDate 2013
dc.date.issued.fl_str_mv 2013
dc.date.accessioned.fl_str_mv 2024-02-01T19:43:24Z
dc.date.available.fl_str_mv 2024-02-01T19:43:24Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/35045
url https://hdl.handle.net/1884/35045
dc.language.iso.fl_str_mv por
language por
dc.relation.pt_BR.fl_str_mv Disponível em formato digital
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 100f. : il., grafs., tabs.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/35045/1/R%20-%20T%20-%20JOAO%20EUGENIO%20MARYNOWSKI.pdf
https://acervodigital.ufpr.br/bitstream/1884/35045/2/R%20-%20T%20-%20JOAO%20EUGENIO%20MARYNOWSKI.pdf.txt
https://acervodigital.ufpr.br/bitstream/1884/35045/3/R%20-%20T%20-%20JOAO%20EUGENIO%20MARYNOWSKI.pdf.jpg
bitstream.checksum.fl_str_mv 2c5a4830461b67c39ecccdd986208f0b
c7d91a6b03749a75fb2bab8628da4b24
4183a214693e47faaa076e37751b3743
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv
_version_ 1801860792631427072

Registros relacionados