Captura de dados em tempo real em sistemas de data warehousing

Detalhes bibliográficos
Autor(a) principal: Dias, Miguel Gonçalves
Data de Publicação: 2013
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/1822/27866
Resumo: Dissertação de mestrado em Engenharia Informática
id RCAP_631d54e37e21a75c6f2ef80dce59670b
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/27866
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Captura de dados em tempo real em sistemas de data warehousingSistemas de data warehousingETLIntegração em tempo realCaptura de dados novos ou alteradosData warehousing em tempo realData warehousing systemsReal time integrationChange data captureReal time data warehousing681.3Dissertação de mestrado em Engenharia Informáticamassificação dos sistemas de informação tem contribuído significativamente para a forma como os utilizadores interagem com as empresas e seus sistemas. Esta nova relação entre cliente e fornecedor tem aumentado significativamente o volume de dados gerados pelas organizações, criando novas necessidades de como manter e gerir toda esta informação. Assim, as empresas têm investido cada vez mais em soluções que permitam manter toda a informação tratada e consolidada num repositório único de dados. Estes sistemas são vulgarmente designados por sistemas de data warehousing. Tradicionalmente, estes sistemas são refrescados em modo offline, em períodos de tempo que podem ser diários ou semanais. Contudo, o aumento da competitividade no mundo empresarial torna este tipo de refrescamentos desadequados, originando uma reação atrasada à ação que despoletou essa informação. Na realidade, períodos longos de refrescamento tornam a informação desatualizada, diminuído consequentemente a sua importância e valor para a organização em causa. Assim sendo, é cada vez mais necessário que a informação armazenada num sistema de data warehousing, seja a mais recente possível, evitando interrupções na disponibilização da informação. A necessidade de obter a informação em tempo real, coloca alguns desafios, tais como manter os dados acessíveis 24 horas por dia, 7 dias por semana, 365 dias por ano, reduzir o período de latência dos dados ou evitar estrangulamentos operacionais nos sistemas transacionais. Assim, é imperativo a utilização de técnicas de coleta de dados não intrusivas, que atuem no momento em que determinado evento ocorreu num sistema operacional e reflitam a sua informação de forma imediata (ou quase imediata) num sistema de data warehousing. Neste trabalho de dissertação pretendese estudar a problemática relacionada com a captura de dados em tempo real e conceber um componente que capaz de suportar um sistema de extração de dados em tempo real universal, que capture as mudanças ocorridas nos sistemas transacionais, de forma não intrusiva, e as comunique na altura certa ao seu sistema de data warehousing.The mass of information systems has contributed significantly to the way users interact with companies and their systems. This new relation between customer and supplier hassignificantly increased the amount of data generated by organizations, creating new needs to maintain and manage all this information. Thus, companies haveincreasingly invested in solutions that allow them to maintain all the information processed and consolidated on a unique data repository. These systems are commonly called Data Warehousing Systems. Traditionally, these systems are refreshed in offline mode in periods of time that can be daily or weekly. Although, the increase of the competitively in the business world, makes this kind of refreshments unsustainable, resulting in a delayed reaction to the action that triggered this information. In truth, long periods between refreshments make the information out-dated, consequently decreasing his importance and the value of the organization. . In that case, it is increasingly necessary that the information stored on the data warehousing systems, is the more recent possible, taking back interruption on the share of that information. The need of obtain information in real time, puts some challenges, as keep all the data accessible 24 hours a day, 7 day a week, 365 days a year, reducingthe periods of data latency or avoiding operational strangulations in transactional systems. Thus, it is imperative the usage of techniques of data collection nonintrusive that can act when some particular event occurred on operational systems and reflect that information immediately (or almost immediately) on the data warehousing system.In this dissertation, we intend to study all the problematic related to real time change data capture, and conceiving a component capable to support an universal real time data extraction system, capable of capture the changes occurred on a transactional system, in a non-intrusive way and communicate with the data warehousing system in the right time.Belo, OrlandoUniversidade do MinhoDias, Miguel Gonçalves20132013-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/1822/27866por201195615info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:16:36Zoai:repositorium.sdum.uminho.pt:1822/27866Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:09:09.970835Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Captura de dados em tempo real em sistemas de data warehousing
title Captura de dados em tempo real em sistemas de data warehousing
spellingShingle Captura de dados em tempo real em sistemas de data warehousing
Dias, Miguel Gonçalves
Sistemas de data warehousing
ETL
Integração em tempo real
Captura de dados novos ou alterados
Data warehousing em tempo real
Data warehousing systems
Real time integration
Change data capture
Real time data warehousing
681.3
title_short Captura de dados em tempo real em sistemas de data warehousing
title_full Captura de dados em tempo real em sistemas de data warehousing
title_fullStr Captura de dados em tempo real em sistemas de data warehousing
title_full_unstemmed Captura de dados em tempo real em sistemas de data warehousing
title_sort Captura de dados em tempo real em sistemas de data warehousing
author Dias, Miguel Gonçalves
author_facet Dias, Miguel Gonçalves
author_role author
dc.contributor.none.fl_str_mv Belo, Orlando
Universidade do Minho
dc.contributor.author.fl_str_mv Dias, Miguel Gonçalves
dc.subject.por.fl_str_mv Sistemas de data warehousing
ETL
Integração em tempo real
Captura de dados novos ou alterados
Data warehousing em tempo real
Data warehousing systems
Real time integration
Change data capture
Real time data warehousing
681.3
topic Sistemas de data warehousing
ETL
Integração em tempo real
Captura de dados novos ou alterados
Data warehousing em tempo real
Data warehousing systems
Real time integration
Change data capture
Real time data warehousing
681.3
description Dissertação de mestrado em Engenharia Informática
publishDate 2013
dc.date.none.fl_str_mv 2013
2013-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/27866
url http://hdl.handle.net/1822/27866
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv 201195615
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132516396826624

Registros relacionados