Watershed-ng: um sistema distribuído e extensível para o processamento de fluxos de dados

Detalhes bibliográficos
Autor(a) principal: Rodrigo Caetano de Oliveira Rocha
Data de Publicação: 2015
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFMG
Texto Completo: http://hdl.handle.net/1843/ESBF-A2EQRM
Resumo: Plataformas de processamento de dados massivos permitem que usuários expressem as computações utilizando abstrações que simplificam à extração de paralelismo. A maioria das plataformas, no entanto, não permitem que os usuários especifiquem como a comunicação entre os nós de computação deve acontecer. Neste trabalho descrevemos a plataforma Watershed-ng, uma re-engenharia do Watershed, uma plataforma baseada no modelo filtro-fluxo e originalmente focada no processamento de fluxos contínuos de dados. Isolando a funcionalidade dos canais de fluxos de dados em classes de primeira ordem, se tornou possível desenvolver, combinar e reutilizar diversos padrões de comunicação e componentes para o tratamento do fluxo de dados. Aplicações desenvolvidas com o Watershed-ng, integrado ao ambiente Hadoop, apresentaram melhorias significativas de desempenho, bem como uma redução em tamanho de código de até 50%, quando comparado com as plataformas predecessoras.
id UFMG_a52dc41751a2b75b85f227e0fa4e550e
oai_identifier_str oai:repositorio.ufmg.br:1843/ESBF-A2EQRM
network_acronym_str UFMG
network_name_str Repositório Institucional da UFMG
repository_id_str
spelling Dorgival Olavo Guedes NetoRenato Antonio Celso FerreiraWagner Meira JuniorRodrigo Caetano de Oliveira Rocha2019-08-13T19:54:55Z2019-08-13T19:54:55Z2015-07-17http://hdl.handle.net/1843/ESBF-A2EQRMPlataformas de processamento de dados massivos permitem que usuários expressem as computações utilizando abstrações que simplificam à extração de paralelismo. A maioria das plataformas, no entanto, não permitem que os usuários especifiquem como a comunicação entre os nós de computação deve acontecer. Neste trabalho descrevemos a plataforma Watershed-ng, uma re-engenharia do Watershed, uma plataforma baseada no modelo filtro-fluxo e originalmente focada no processamento de fluxos contínuos de dados. Isolando a funcionalidade dos canais de fluxos de dados em classes de primeira ordem, se tornou possível desenvolver, combinar e reutilizar diversos padrões de comunicação e componentes para o tratamento do fluxo de dados. Aplicações desenvolvidas com o Watershed-ng, integrado ao ambiente Hadoop, apresentaram melhorias significativas de desempenho, bem como uma redução em tamanho de código de até 50%, quando comparado com as plataformas predecessoras.Most high-performance data processing (a.k.a. big-data) systems allowusers to express their computation using abstractions (like MapReduce)that simplify the extraction of parallelism from applications. Mostframeworks, however, do not allow users to specify how communicationmust take place: that element is deeply embedded into the run-timesystem (RTS) abstractions, making changes hard to implement.In this work we describe Wathershed-ng, our re-engineering of the Watershed system, a framework based on the filter-stream paradigm and originally focused on continuous stream processing. Like other big-data environments, Watershed provided object-oriented abstractions to express computation (filters), but the implementation of streams was an RTS element. By isolating stream functionality into appropriate classes, combination of communication patterns and reuse of common message handling functions (like compression and blocking) become possible. The new architecture even allows the design of new communication patterns, for example, allowing users to choose MPI, TCP or shared memory implementations of communication channels as their problem demands. Applications designed for the new interface showed reductions in code size on the order of 50% and above in some cases. The performance results also showed significant improvements, since some implementation bottlenecks were removed in the re-engineering process.Universidade Federal de Minas GeraisUFMGComputaçãoBig dataProgramação paralela (Computação)Sistemas distribuídosProcessamento de fluxos de dadosBig dataSistemas distribuídosProgramação paralelaWatershed-ng: um sistema distribuído e extensível para o processamento de fluxos de dadosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGORIGINALrodrigocaetano.pdfapplication/pdf1598941https://repositorio.ufmg.br/bitstream/1843/ESBF-A2EQRM/1/rodrigocaetano.pdf7a82fe59a87480e501e8c8f1f4a57af3MD51TEXTrodrigocaetano.pdf.txtrodrigocaetano.pdf.txtExtracted texttext/plain118440https://repositorio.ufmg.br/bitstream/1843/ESBF-A2EQRM/2/rodrigocaetano.pdf.txtc3d82240a2680086aa662c1da0ca003eMD521843/ESBF-A2EQRM2019-11-14 15:14:19.249oai:repositorio.ufmg.br:1843/ESBF-A2EQRMRepositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2019-11-14T18:14:19Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
dc.title.pt_BR.fl_str_mv Watershed-ng: um sistema distribuído e extensível para o processamento de fluxos de dados
title Watershed-ng: um sistema distribuído e extensível para o processamento de fluxos de dados
spellingShingle Watershed-ng: um sistema distribuído e extensível para o processamento de fluxos de dados
Rodrigo Caetano de Oliveira Rocha
Processamento de fluxos de dados
Big data
Sistemas distribuídos
Programação paralela
Computação
Big data
Programação paralela (Computação)
Sistemas distribuídos
title_short Watershed-ng: um sistema distribuído e extensível para o processamento de fluxos de dados
title_full Watershed-ng: um sistema distribuído e extensível para o processamento de fluxos de dados
title_fullStr Watershed-ng: um sistema distribuído e extensível para o processamento de fluxos de dados
title_full_unstemmed Watershed-ng: um sistema distribuído e extensível para o processamento de fluxos de dados
title_sort Watershed-ng: um sistema distribuído e extensível para o processamento de fluxos de dados
author Rodrigo Caetano de Oliveira Rocha
author_facet Rodrigo Caetano de Oliveira Rocha
author_role author
dc.contributor.advisor1.fl_str_mv Dorgival Olavo Guedes Neto
dc.contributor.referee1.fl_str_mv Renato Antonio Celso Ferreira
dc.contributor.referee2.fl_str_mv Wagner Meira Junior
dc.contributor.author.fl_str_mv Rodrigo Caetano de Oliveira Rocha
contributor_str_mv Dorgival Olavo Guedes Neto
Renato Antonio Celso Ferreira
Wagner Meira Junior
dc.subject.por.fl_str_mv Processamento de fluxos de dados
Big data
Sistemas distribuídos
Programação paralela
topic Processamento de fluxos de dados
Big data
Sistemas distribuídos
Programação paralela
Computação
Big data
Programação paralela (Computação)
Sistemas distribuídos
dc.subject.other.pt_BR.fl_str_mv Computação
Big data
Programação paralela (Computação)
Sistemas distribuídos
description Plataformas de processamento de dados massivos permitem que usuários expressem as computações utilizando abstrações que simplificam à extração de paralelismo. A maioria das plataformas, no entanto, não permitem que os usuários especifiquem como a comunicação entre os nós de computação deve acontecer. Neste trabalho descrevemos a plataforma Watershed-ng, uma re-engenharia do Watershed, uma plataforma baseada no modelo filtro-fluxo e originalmente focada no processamento de fluxos contínuos de dados. Isolando a funcionalidade dos canais de fluxos de dados em classes de primeira ordem, se tornou possível desenvolver, combinar e reutilizar diversos padrões de comunicação e componentes para o tratamento do fluxo de dados. Aplicações desenvolvidas com o Watershed-ng, integrado ao ambiente Hadoop, apresentaram melhorias significativas de desempenho, bem como uma redução em tamanho de código de até 50%, quando comparado com as plataformas predecessoras.
publishDate 2015
dc.date.issued.fl_str_mv 2015-07-17
dc.date.accessioned.fl_str_mv 2019-08-13T19:54:55Z
dc.date.available.fl_str_mv 2019-08-13T19:54:55Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1843/ESBF-A2EQRM
url http://hdl.handle.net/1843/ESBF-A2EQRM
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.publisher.initials.fl_str_mv UFMG
publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMG
instname:Universidade Federal de Minas Gerais (UFMG)
instacron:UFMG
instname_str Universidade Federal de Minas Gerais (UFMG)
instacron_str UFMG
institution UFMG
reponame_str Repositório Institucional da UFMG
collection Repositório Institucional da UFMG
bitstream.url.fl_str_mv https://repositorio.ufmg.br/bitstream/1843/ESBF-A2EQRM/1/rodrigocaetano.pdf
https://repositorio.ufmg.br/bitstream/1843/ESBF-A2EQRM/2/rodrigocaetano.pdf.txt
bitstream.checksum.fl_str_mv 7a82fe59a87480e501e8c8f1f4a57af3
c3d82240a2680086aa662c1da0ca003e
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)
repository.mail.fl_str_mv
_version_ 1803589300244185088

Registros relacionados