Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL

Detalhes bibliográficos
Autor(a) principal: Oliveira, Sthefanie Carvalho Rodrigues
Data de Publicação: 2015
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFS
Texto Completo: http://ri.ufs.br/jspui/handle/riufs/7140
Resumo: During the creation of a data warehouse environment, one of the most important steps is the development of the ETL system (Extract, Transform, Load), which is responsible for the extraction of data in operational systems and external sources, the transformations that these data have to suffer and the load of facts and dimensions. Although crucial, the processes of extraction, transformation and load are only a part of the life cycle of an ETL system development. As important as the process, is the correct scheduling, the precise execution and the continuous monitoring. These activities are responsibility of an ETL subsystem, known as Scheduler. This paper proposes a Scheduler for ETL processes. With the use of metadata, the used approach tries to simplify the processes of scheduling, execution and monitoring of ETL processes in a data warehouse environment.
id UFS-2_327336fa61503caa43b522cc35221e33
oai_identifier_str oai:ufs.br:riufs/7140
network_acronym_str UFS-2
network_name_str Repositório Institucional da UFS
repository_id_str
spelling Oliveira, Sthefanie Carvalho RodriguesNascimento, André Vinicius Rodrigues PassosRodrigues Júnior, Methanias Colaço2017-12-21T17:12:43Z2017-12-21T17:12:43Z2015-02-25OLIVEIRA, Sthefanie Carvalho Rodrigues. Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL. 2015. 76 f. TCC (Bacharelado em Sistemas de Informação ) - Universidade Federal de Sergipe, Itabaiana, SE, 2015.http://ri.ufs.br/jspui/handle/riufs/7140During the creation of a data warehouse environment, one of the most important steps is the development of the ETL system (Extract, Transform, Load), which is responsible for the extraction of data in operational systems and external sources, the transformations that these data have to suffer and the load of facts and dimensions. Although crucial, the processes of extraction, transformation and load are only a part of the life cycle of an ETL system development. As important as the process, is the correct scheduling, the precise execution and the continuous monitoring. These activities are responsibility of an ETL subsystem, known as Scheduler. This paper proposes a Scheduler for ETL processes. With the use of metadata, the used approach tries to simplify the processes of scheduling, execution and monitoring of ETL processes in a data warehouse environment.Na construção de um ambiente de Data Warehouse, uma das etapas mais importantes é o desenvolvimento do sistema ETL (Extract, Transform, Load), que é responsável pela extração dos dados nos sistemas operacionais e fontes externas, pelas transformações que esses dados precisam sofrer e pelo povoamento de fatos e dimensões. Embora cruciais, os processos de Extração, Transformação e Carga constituem apenas uma parte do ciclo de vida do desenvolvimento de um sistema ETL. Tão importante quanto os processos é o correto agendamento, a execução precisa e o monitoramento contínuo. Essas atividades são responsabilidade de um subsistema ETL, conhecido como Scheduler. Este trabalho apresenta uma proposta de um Scheduler para processos ETL. A partir da utilização de metadados, a abordagem utilizada busca simplificar os processos de agendamento, execução e monitoramento dos processos ETL em um ambiente de Data Warehouse.Itabaiana, SEporSistemas de computaçãoBanco de dadosData WarehouseProcesso ETLScheduler ETLCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOProjeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETLinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal de SergipeDSI - Departamento de Sistema de Informação – Itabaiana - Presencialreponame:Repositório Institucional da UFSinstname:Universidade Federal de Sergipe (UFS)instacron:UFSinfo:eu-repo/semantics/openAccessORIGINALSthefanie_Carvalho_Rodrigues_Oliveira.pdfSthefanie_Carvalho_Rodrigues_Oliveira.pdfapplication/pdf1611676https://ri.ufs.br/jspui/bitstream/riufs/7140/2/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf5c329077f3aa6a740a7f636e7e74d443MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-81475https://ri.ufs.br/jspui/bitstream/riufs/7140/3/license.txt098cbbf65c2c15e1fb2e49c5d306a44cMD53TEXTSthefanie_Carvalho_Rodrigues_Oliveira.pdf.txtSthefanie_Carvalho_Rodrigues_Oliveira.pdf.txtExtracted texttext/plain102763https://ri.ufs.br/jspui/bitstream/riufs/7140/4/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf.txt2c07265496d921e041843449d0de188eMD54THUMBNAILSthefanie_Carvalho_Rodrigues_Oliveira.pdf.jpgSthefanie_Carvalho_Rodrigues_Oliveira.pdf.jpgGenerated Thumbnailimage/jpeg1241https://ri.ufs.br/jspui/bitstream/riufs/7140/5/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf.jpgd76192483f7cbf2a3b8c8f82d4e01992MD55riufs/71402017-12-21 14:12:44.276oai:ufs.br:riufs/7140TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvcihlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyIHNldSB0cmFiYWxobyBubyBmb3JtYXRvIGVsZXRyw7RuaWNvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFNlcmdpcGUgcG9kZSwgc2VtIGFsdGVyYXIgbyBjb250ZcO6ZG8sIHRyYW5zcG9yIHNldSB0cmFiYWxobyBwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZGUgc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0bywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgbsOjbyBpbmZyaW5nZSBkaXJlaXRvcyBhdXRvcmFpcyBkZSBuaW5ndcOpbS4KCkNhc28gbyB0cmFiYWxobyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvLgoKQSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUocykgb3UgbyhzKSBub21lKHMpIGRvKHMpIApkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHRyYWJhbGhvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIGNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuIAo=Repositório InstitucionalPUBhttps://ri.ufs.br/oai/requestrepositorio@academico.ufs.bropendoar:2017-12-21T17:12:44Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)false
dc.title.pt_BR.fl_str_mv Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL
title Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL
spellingShingle Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL
Oliveira, Sthefanie Carvalho Rodrigues
Sistemas de computação
Banco de dados
Data Warehouse
Processo ETL
Scheduler ETL
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
title_short Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL
title_full Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL
title_fullStr Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL
title_full_unstemmed Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL
title_sort Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL
author Oliveira, Sthefanie Carvalho Rodrigues
author_facet Oliveira, Sthefanie Carvalho Rodrigues
author_role author
dc.contributor.author.fl_str_mv Oliveira, Sthefanie Carvalho Rodrigues
dc.contributor.advisor1.fl_str_mv Nascimento, André Vinicius Rodrigues Passos
dc.contributor.advisor-co1.fl_str_mv Rodrigues Júnior, Methanias Colaço
contributor_str_mv Nascimento, André Vinicius Rodrigues Passos
Rodrigues Júnior, Methanias Colaço
dc.subject.por.fl_str_mv Sistemas de computação
Banco de dados
topic Sistemas de computação
Banco de dados
Data Warehouse
Processo ETL
Scheduler ETL
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
dc.subject.eng.fl_str_mv Data Warehouse
Processo ETL
Scheduler ETL
dc.subject.cnpq.fl_str_mv CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
description During the creation of a data warehouse environment, one of the most important steps is the development of the ETL system (Extract, Transform, Load), which is responsible for the extraction of data in operational systems and external sources, the transformations that these data have to suffer and the load of facts and dimensions. Although crucial, the processes of extraction, transformation and load are only a part of the life cycle of an ETL system development. As important as the process, is the correct scheduling, the precise execution and the continuous monitoring. These activities are responsibility of an ETL subsystem, known as Scheduler. This paper proposes a Scheduler for ETL processes. With the use of metadata, the used approach tries to simplify the processes of scheduling, execution and monitoring of ETL processes in a data warehouse environment.
publishDate 2015
dc.date.issued.fl_str_mv 2015-02-25
dc.date.accessioned.fl_str_mv 2017-12-21T17:12:43Z
dc.date.available.fl_str_mv 2017-12-21T17:12:43Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv OLIVEIRA, Sthefanie Carvalho Rodrigues. Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL. 2015. 76 f. TCC (Bacharelado em Sistemas de Informação ) - Universidade Federal de Sergipe, Itabaiana, SE, 2015.
dc.identifier.uri.fl_str_mv http://ri.ufs.br/jspui/handle/riufs/7140
identifier_str_mv OLIVEIRA, Sthefanie Carvalho Rodrigues. Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL. 2015. 76 f. TCC (Bacharelado em Sistemas de Informação ) - Universidade Federal de Sergipe, Itabaiana, SE, 2015.
url http://ri.ufs.br/jspui/handle/riufs/7140
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.initials.fl_str_mv Universidade Federal de Sergipe
dc.publisher.department.fl_str_mv DSI - Departamento de Sistema de Informação – Itabaiana - Presencial
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFS
instname:Universidade Federal de Sergipe (UFS)
instacron:UFS
instname_str Universidade Federal de Sergipe (UFS)
instacron_str UFS
institution UFS
reponame_str Repositório Institucional da UFS
collection Repositório Institucional da UFS
bitstream.url.fl_str_mv https://ri.ufs.br/jspui/bitstream/riufs/7140/2/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf
https://ri.ufs.br/jspui/bitstream/riufs/7140/3/license.txt
https://ri.ufs.br/jspui/bitstream/riufs/7140/4/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf.txt
https://ri.ufs.br/jspui/bitstream/riufs/7140/5/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf.jpg
bitstream.checksum.fl_str_mv 5c329077f3aa6a740a7f636e7e74d443
098cbbf65c2c15e1fb2e49c5d306a44c
2c07265496d921e041843449d0de188e
d76192483f7cbf2a3b8c8f82d4e01992
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)
repository.mail.fl_str_mv repositorio@academico.ufs.br
_version_ 1802110673518329856