Desempenho e disponibilidade em sistemas distribuídos em larga escala

Detalhes bibliográficos
Autor(a) principal: Bruno Rocha Coutinho
Data de Publicação: 2005
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFMG
Texto Completo: http://hdl.handle.net/1843/RVMR-6HKGXG
Resumo: A Ciência da Computação tem evoluído e alcançado diversas áreas do conhecimento tais como a biologia, a geografia, a astronomia, entre outras. Os Sistemas de Fluxo de Trabalho Científico foram criados com o objetivo de ajudar os pesquisadores dessas áreas nos seus processos de análise de dados. Esses sistemas permitem aos cientistas criar e organizar tarefas relativas aos seus experimentos; executar essas tarefas eficientemente e transparentemente em um ambiente distribuído; assim como monitorar toda a execução.Os desafios para o projeto e a implementação desses sistemas são muitos, principalmente devido às características das aplicações que geram os fluxos de trabalho científicos. Elas são consideradas aplicações intensivas em dados e processamento as quais criam uma enorme quantidade de dados durante a execução e executam por longos períodos. Desta forma, alguns dos desafios para projetar os sistemas de fluxo de trabalho científico são: armazenar, pesquisar e gerenciar grandes bases de dados distribuídas, gerenciar os dados de entrada e de saída, escalonar e monitorar a execução desses fluxos de trabalho em ambientes distribuídos, assim como tratar a ocorrência de falhas tanto de software quanto de hardware que podem acontecer durante a execução.Este trabalho investiga o uso de mecanismos que, de forma transparente, aumentem a disponibilidade de sistemas de fluxo de trabalho científico, de tal forma que o trabalho a ser refeito após uma falha no sistema seja mínimo. Esses mecanismos utilizam como base características próprias desses sistemas para a construção de um sistema de armazenamento dos dados necessários para a recuperação das aplicações após uma falha. Esse sistema provê um armazenamento assíncrono dos dados de tal forma que não há necessidade do travamento da execução das aplicações para que ele aconteça. Os resultados experimentais mostram que o sistema é capaz escalar a grandes bases de dados, e que a nossa abordagem introduz muito pouco overhead na execução das aplicações.
id UFMG_c33e2d84e24c83e25d81c09b8e105fab
oai_identifier_str oai:repositorio.ufmg.br:1843/RVMR-6HKGXG
network_acronym_str UFMG
network_name_str Repositório Institucional da UFMG
repository_id_str
spelling Wagner Meira JuniorDorgival Olavo Guedes NetoRenato Antonio Celso FerreiraLúcia Maria de Assumpção DrummondBruno Rocha Coutinho2019-08-10T14:00:27Z2019-08-10T14:00:27Z2005-10-17http://hdl.handle.net/1843/RVMR-6HKGXGA Ciência da Computação tem evoluído e alcançado diversas áreas do conhecimento tais como a biologia, a geografia, a astronomia, entre outras. Os Sistemas de Fluxo de Trabalho Científico foram criados com o objetivo de ajudar os pesquisadores dessas áreas nos seus processos de análise de dados. Esses sistemas permitem aos cientistas criar e organizar tarefas relativas aos seus experimentos; executar essas tarefas eficientemente e transparentemente em um ambiente distribuído; assim como monitorar toda a execução.Os desafios para o projeto e a implementação desses sistemas são muitos, principalmente devido às características das aplicações que geram os fluxos de trabalho científicos. Elas são consideradas aplicações intensivas em dados e processamento as quais criam uma enorme quantidade de dados durante a execução e executam por longos períodos. Desta forma, alguns dos desafios para projetar os sistemas de fluxo de trabalho científico são: armazenar, pesquisar e gerenciar grandes bases de dados distribuídas, gerenciar os dados de entrada e de saída, escalonar e monitorar a execução desses fluxos de trabalho em ambientes distribuídos, assim como tratar a ocorrência de falhas tanto de software quanto de hardware que podem acontecer durante a execução.Este trabalho investiga o uso de mecanismos que, de forma transparente, aumentem a disponibilidade de sistemas de fluxo de trabalho científico, de tal forma que o trabalho a ser refeito após uma falha no sistema seja mínimo. Esses mecanismos utilizam como base características próprias desses sistemas para a construção de um sistema de armazenamento dos dados necessários para a recuperação das aplicações após uma falha. Esse sistema provê um armazenamento assíncrono dos dados de tal forma que não há necessidade do travamento da execução das aplicações para que ele aconteça. Os resultados experimentais mostram que o sistema é capaz escalar a grandes bases de dados, e que a nossa abordagem introduz muito pouco overhead na execução das aplicações.Scientific workflow systems provide scientists with a suite of tools and infrastructure to build data analysis applications from reusable components and execute them. The challenges to implementing workflow middleware support for scientific applications are many. Analysis oftentimes requires processing of large volumes of data through a series of simple and complex operations.To support data processing efficiently, a workflow middleware system should leverage distributed computing power and storage space (both disk and memory space) and implement optimizations for large data retrieval and scheduling of I/O and computation components. Another challenging issue is to enable fault tolerance in the middleware fabric. An analysis workflow with complex operations on large data can take long time to execute. The probability of a failure during execution should be considered. Efficient mechanisms are needed to support recovery from a failure without having to redo much of the computation already done.In this thesis, we propose and evaluate a fault tolerance framework for applications that process data using a pipelined network of user-defined operations in a distributed environment. We provide functionality and protocols to efficiently manage input, intermediate, and output data and associated metadata and to recover from certain types of faults that may occur in the system. In our approach, intermediate results and messages exchanged among application components are maintained in a distributed data management infrastructure along with additional metadata. The infrastructure consists of a persistent storage manager that stores check-pointed information in a distributed database and a distributed cache that reduces the overhead of check-pointing. We have developed a protocol among the various components of the system to manage check-points and related information efficiently. The experimental results show that our approach provides an asynchronous data storage mechanism that minimizes overhead to the execution of the workflow.Universidade Federal de Minas GeraisUFMGSoftware ConfiabilidadeComputaçãoTolerancia a falha (Computação)sistemas distribuidosDesempenho e disponibilidade em sistemas distribuídos em larga escalainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGORIGINALbrunorochacoutinho.pdfapplication/pdf1087777https://repositorio.ufmg.br/bitstream/1843/RVMR-6HKGXG/1/brunorochacoutinho.pdfaf60a63a0347c8525f431cbfdfd6bb92MD51TEXTbrunorochacoutinho.pdf.txtbrunorochacoutinho.pdf.txtExtracted texttext/plain146747https://repositorio.ufmg.br/bitstream/1843/RVMR-6HKGXG/2/brunorochacoutinho.pdf.txt6058e10ec5a4b5721ab96a9a8fac9b19MD521843/RVMR-6HKGXG2019-11-14 04:21:28.19oai:repositorio.ufmg.br:1843/RVMR-6HKGXGRepositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2019-11-14T07:21:28Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
dc.title.pt_BR.fl_str_mv Desempenho e disponibilidade em sistemas distribuídos em larga escala
title Desempenho e disponibilidade em sistemas distribuídos em larga escala
spellingShingle Desempenho e disponibilidade em sistemas distribuídos em larga escala
Bruno Rocha Coutinho
sistemas distribuidos
Software Confiabilidade
Computação
Tolerancia a falha (Computação)
title_short Desempenho e disponibilidade em sistemas distribuídos em larga escala
title_full Desempenho e disponibilidade em sistemas distribuídos em larga escala
title_fullStr Desempenho e disponibilidade em sistemas distribuídos em larga escala
title_full_unstemmed Desempenho e disponibilidade em sistemas distribuídos em larga escala
title_sort Desempenho e disponibilidade em sistemas distribuídos em larga escala
author Bruno Rocha Coutinho
author_facet Bruno Rocha Coutinho
author_role author
dc.contributor.advisor1.fl_str_mv Wagner Meira Junior
dc.contributor.referee1.fl_str_mv Dorgival Olavo Guedes Neto
dc.contributor.referee2.fl_str_mv Renato Antonio Celso Ferreira
dc.contributor.referee3.fl_str_mv Lúcia Maria de Assumpção Drummond
dc.contributor.author.fl_str_mv Bruno Rocha Coutinho
contributor_str_mv Wagner Meira Junior
Dorgival Olavo Guedes Neto
Renato Antonio Celso Ferreira
Lúcia Maria de Assumpção Drummond
dc.subject.por.fl_str_mv sistemas distribuidos
topic sistemas distribuidos
Software Confiabilidade
Computação
Tolerancia a falha (Computação)
dc.subject.other.pt_BR.fl_str_mv Software Confiabilidade
Computação
Tolerancia a falha (Computação)
description A Ciência da Computação tem evoluído e alcançado diversas áreas do conhecimento tais como a biologia, a geografia, a astronomia, entre outras. Os Sistemas de Fluxo de Trabalho Científico foram criados com o objetivo de ajudar os pesquisadores dessas áreas nos seus processos de análise de dados. Esses sistemas permitem aos cientistas criar e organizar tarefas relativas aos seus experimentos; executar essas tarefas eficientemente e transparentemente em um ambiente distribuído; assim como monitorar toda a execução.Os desafios para o projeto e a implementação desses sistemas são muitos, principalmente devido às características das aplicações que geram os fluxos de trabalho científicos. Elas são consideradas aplicações intensivas em dados e processamento as quais criam uma enorme quantidade de dados durante a execução e executam por longos períodos. Desta forma, alguns dos desafios para projetar os sistemas de fluxo de trabalho científico são: armazenar, pesquisar e gerenciar grandes bases de dados distribuídas, gerenciar os dados de entrada e de saída, escalonar e monitorar a execução desses fluxos de trabalho em ambientes distribuídos, assim como tratar a ocorrência de falhas tanto de software quanto de hardware que podem acontecer durante a execução.Este trabalho investiga o uso de mecanismos que, de forma transparente, aumentem a disponibilidade de sistemas de fluxo de trabalho científico, de tal forma que o trabalho a ser refeito após uma falha no sistema seja mínimo. Esses mecanismos utilizam como base características próprias desses sistemas para a construção de um sistema de armazenamento dos dados necessários para a recuperação das aplicações após uma falha. Esse sistema provê um armazenamento assíncrono dos dados de tal forma que não há necessidade do travamento da execução das aplicações para que ele aconteça. Os resultados experimentais mostram que o sistema é capaz escalar a grandes bases de dados, e que a nossa abordagem introduz muito pouco overhead na execução das aplicações.
publishDate 2005
dc.date.issued.fl_str_mv 2005-10-17
dc.date.accessioned.fl_str_mv 2019-08-10T14:00:27Z
dc.date.available.fl_str_mv 2019-08-10T14:00:27Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1843/RVMR-6HKGXG
url http://hdl.handle.net/1843/RVMR-6HKGXG
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.publisher.initials.fl_str_mv UFMG
publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMG
instname:Universidade Federal de Minas Gerais (UFMG)
instacron:UFMG
instname_str Universidade Federal de Minas Gerais (UFMG)
instacron_str UFMG
institution UFMG
reponame_str Repositório Institucional da UFMG
collection Repositório Institucional da UFMG
bitstream.url.fl_str_mv https://repositorio.ufmg.br/bitstream/1843/RVMR-6HKGXG/1/brunorochacoutinho.pdf
https://repositorio.ufmg.br/bitstream/1843/RVMR-6HKGXG/2/brunorochacoutinho.pdf.txt
bitstream.checksum.fl_str_mv af60a63a0347c8525f431cbfdfd6bb92
6058e10ec5a4b5721ab96a9a8fac9b19
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)
repository.mail.fl_str_mv
_version_ 1803589394083348480