Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time

Detalhes bibliográficos
Autor(a) principal: Souza, Daniel da Cunha Rodrigues de
Data de Publicação: 2015
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UnB
Texto Completo: http://repositorio.unb.br/handle/10482/20422
http://dx.doi.org/10.26512/2015.05.D.20422
Resumo: Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2015.
id UNB_2025d52ade2de7a42ded84b0b2bde334
oai_identifier_str oai:repositorio.unb.br:10482/20422
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-timeA reference architecture for distributed processing streams of data for near real-time analyticsBusiness intelligenceInternetArquitetura de softwareProcessamento distribuídoDissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2015.Os novos requisitos para o processamento em baixa latência de streams de dados distribuídos desafiam as arquiteturas tradicionais de processamento de dados. Uma nova classe de sistemas denominados Distributed Stream Processing Systems (DSPS) emergiram para facilitar a analise desses dados em baixa latência. Entretanto, a diversidade de arquiteturas, modelos de processamento e Application Programming Interfaces (APIs) nesses DSPSs aumentaram a complexidade no processo de desenvolvimento de sistemas para o processamento de dados. Nesse contexto, este trabalho propõe uma arquitetura de referência para o processamento de streams para soluções analíticas de near real-time. Essa arquitetura tem como base conceitos arquiteturais que estabelecem uma separação em camadas com responsabilidades bem definidas, resultando em um modelo de referência que promove o reuso de decissões de projeto e suporta a gestão da complexidade no desenvolvimento de sistemas de processamento de stream de dados. Para validar a solução proposta, essa arquitetura de referência é instanciada em um experimento que aborda o uso de dois algoritmos algorítimos probabílisticos: HyperLogLog e Count-Min Sketch.The current requirement of low latency processing for high volume of data streams is pushing the limits of the traditional data processing architectures. A new class of applications called Distributed Stream Processing Systems (DSPS) has emerged to facilitate such large scale real time data analytics. Nevertheless the diversity of architectures, data models and APIs introduced by the use of these systems resulted in a greater complexity to the development of data processing systems. In this context, a reference architecture to data stream processing for near real-time analytics is proposed in this work. This proposal is based on a layered architecture pattern, with clearly defined responsibilities providing a strong reference model, to improve the maintainability and reuse for data stream processing systems. In order to evaluate the proposed architecture and its framework, a case study is used in which two probabilistic algorithms are applied: the HyperLogLog and the Count-Min Sketch.Faculdade de Tecnologia (FT)Departamento de Engenharia Elétrica (FT ENE)Programa de Pós-Graduação em Engenharia ElétricaSousa Júnior, Rafael Timóteo deFreitas, Edison Pignaton deSouza, Daniel da Cunha Rodrigues de2016-05-26T16:32:54Z2016-05-26T16:32:54Z2016-05-262015-05-20info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfSOUZA, Daniel da Cunha Rodrigues de. Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time. 2015. viii, 80 f., il. Dissertação (Mestrado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2015.http://repositorio.unb.br/handle/10482/20422http://dx.doi.org/10.26512/2015.05.D.20422A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2024-03-01T16:06:09Zoai:repositorio.unb.br:10482/20422Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2024-03-01T16:06:09Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time
A reference architecture for distributed processing streams of data for near real-time analytics
title Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time
spellingShingle Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time
Souza, Daniel da Cunha Rodrigues de
Business intelligence
Internet
Arquitetura de software
Processamento distribuído
title_short Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time
title_full Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time
title_fullStr Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time
title_full_unstemmed Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time
title_sort Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time
author Souza, Daniel da Cunha Rodrigues de
author_facet Souza, Daniel da Cunha Rodrigues de
author_role author
dc.contributor.none.fl_str_mv Sousa Júnior, Rafael Timóteo de
Freitas, Edison Pignaton de
dc.contributor.author.fl_str_mv Souza, Daniel da Cunha Rodrigues de
dc.subject.por.fl_str_mv Business intelligence
Internet
Arquitetura de software
Processamento distribuído
topic Business intelligence
Internet
Arquitetura de software
Processamento distribuído
description Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2015.
publishDate 2015
dc.date.none.fl_str_mv 2015-05-20
2016-05-26T16:32:54Z
2016-05-26T16:32:54Z
2016-05-26
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv SOUZA, Daniel da Cunha Rodrigues de. Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time. 2015. viii, 80 f., il. Dissertação (Mestrado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2015.
http://repositorio.unb.br/handle/10482/20422
http://dx.doi.org/10.26512/2015.05.D.20422
identifier_str_mv SOUZA, Daniel da Cunha Rodrigues de. Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time. 2015. viii, 80 f., il. Dissertação (Mestrado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2015.
url http://repositorio.unb.br/handle/10482/20422
http://dx.doi.org/10.26512/2015.05.D.20422
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1814508193846394880

Registros relacionados