Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL
Autor(a) principal: | |
---|---|
Data de Publicação: | 2015 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFS |
Texto Completo: | http://ri.ufs.br/jspui/handle/riufs/7140 |
Resumo: | During the creation of a data warehouse environment, one of the most important steps is the development of the ETL system (Extract, Transform, Load), which is responsible for the extraction of data in operational systems and external sources, the transformations that these data have to suffer and the load of facts and dimensions. Although crucial, the processes of extraction, transformation and load are only a part of the life cycle of an ETL system development. As important as the process, is the correct scheduling, the precise execution and the continuous monitoring. These activities are responsibility of an ETL subsystem, known as Scheduler. This paper proposes a Scheduler for ETL processes. With the use of metadata, the used approach tries to simplify the processes of scheduling, execution and monitoring of ETL processes in a data warehouse environment. |
id |
UFS-2_327336fa61503caa43b522cc35221e33 |
---|---|
oai_identifier_str |
oai:ufs.br:riufs/7140 |
network_acronym_str |
UFS-2 |
network_name_str |
Repositório Institucional da UFS |
repository_id_str |
|
spelling |
Oliveira, Sthefanie Carvalho RodriguesNascimento, André Vinicius Rodrigues PassosRodrigues Júnior, Methanias Colaço2017-12-21T17:12:43Z2017-12-21T17:12:43Z2015-02-25OLIVEIRA, Sthefanie Carvalho Rodrigues. Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL. 2015. 76 f. TCC (Bacharelado em Sistemas de Informação ) - Universidade Federal de Sergipe, Itabaiana, SE, 2015.http://ri.ufs.br/jspui/handle/riufs/7140During the creation of a data warehouse environment, one of the most important steps is the development of the ETL system (Extract, Transform, Load), which is responsible for the extraction of data in operational systems and external sources, the transformations that these data have to suffer and the load of facts and dimensions. Although crucial, the processes of extraction, transformation and load are only a part of the life cycle of an ETL system development. As important as the process, is the correct scheduling, the precise execution and the continuous monitoring. These activities are responsibility of an ETL subsystem, known as Scheduler. This paper proposes a Scheduler for ETL processes. With the use of metadata, the used approach tries to simplify the processes of scheduling, execution and monitoring of ETL processes in a data warehouse environment.Na construção de um ambiente de Data Warehouse, uma das etapas mais importantes é o desenvolvimento do sistema ETL (Extract, Transform, Load), que é responsável pela extração dos dados nos sistemas operacionais e fontes externas, pelas transformações que esses dados precisam sofrer e pelo povoamento de fatos e dimensões. Embora cruciais, os processos de Extração, Transformação e Carga constituem apenas uma parte do ciclo de vida do desenvolvimento de um sistema ETL. Tão importante quanto os processos é o correto agendamento, a execução precisa e o monitoramento contínuo. Essas atividades são responsabilidade de um subsistema ETL, conhecido como Scheduler. Este trabalho apresenta uma proposta de um Scheduler para processos ETL. A partir da utilização de metadados, a abordagem utilizada busca simplificar os processos de agendamento, execução e monitoramento dos processos ETL em um ambiente de Data Warehouse.Itabaiana, SEporSistemas de computaçãoBanco de dadosData WarehouseProcesso ETLScheduler ETLCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOProjeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETLinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal de SergipeDSI - Departamento de Sistema de Informação – Itabaiana - Presencialreponame:Repositório Institucional da UFSinstname:Universidade Federal de Sergipe (UFS)instacron:UFSinfo:eu-repo/semantics/openAccessORIGINALSthefanie_Carvalho_Rodrigues_Oliveira.pdfSthefanie_Carvalho_Rodrigues_Oliveira.pdfapplication/pdf1611676https://ri.ufs.br/jspui/bitstream/riufs/7140/2/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf5c329077f3aa6a740a7f636e7e74d443MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-81475https://ri.ufs.br/jspui/bitstream/riufs/7140/3/license.txt098cbbf65c2c15e1fb2e49c5d306a44cMD53TEXTSthefanie_Carvalho_Rodrigues_Oliveira.pdf.txtSthefanie_Carvalho_Rodrigues_Oliveira.pdf.txtExtracted texttext/plain102763https://ri.ufs.br/jspui/bitstream/riufs/7140/4/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf.txt2c07265496d921e041843449d0de188eMD54THUMBNAILSthefanie_Carvalho_Rodrigues_Oliveira.pdf.jpgSthefanie_Carvalho_Rodrigues_Oliveira.pdf.jpgGenerated Thumbnailimage/jpeg1241https://ri.ufs.br/jspui/bitstream/riufs/7140/5/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf.jpgd76192483f7cbf2a3b8c8f82d4e01992MD55riufs/71402017-12-21 14:12:44.276oai:ufs.br:riufs/7140TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvcihlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyIHNldSB0cmFiYWxobyBubyBmb3JtYXRvIGVsZXRyw7RuaWNvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFNlcmdpcGUgcG9kZSwgc2VtIGFsdGVyYXIgbyBjb250ZcO6ZG8sIHRyYW5zcG9yIHNldSB0cmFiYWxobyBwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZGUgc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0bywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgbsOjbyBpbmZyaW5nZSBkaXJlaXRvcyBhdXRvcmFpcyBkZSBuaW5ndcOpbS4KCkNhc28gbyB0cmFiYWxobyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvLgoKQSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUocykgb3UgbyhzKSBub21lKHMpIGRvKHMpIApkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHRyYWJhbGhvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIGNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuIAo=Repositório InstitucionalPUBhttps://ri.ufs.br/oai/requestrepositorio@academico.ufs.bropendoar:2017-12-21T17:12:44Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)false |
dc.title.pt_BR.fl_str_mv |
Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL |
title |
Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL |
spellingShingle |
Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL Oliveira, Sthefanie Carvalho Rodrigues Sistemas de computação Banco de dados Data Warehouse Processo ETL Scheduler ETL CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
title_short |
Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL |
title_full |
Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL |
title_fullStr |
Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL |
title_full_unstemmed |
Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL |
title_sort |
Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL |
author |
Oliveira, Sthefanie Carvalho Rodrigues |
author_facet |
Oliveira, Sthefanie Carvalho Rodrigues |
author_role |
author |
dc.contributor.author.fl_str_mv |
Oliveira, Sthefanie Carvalho Rodrigues |
dc.contributor.advisor1.fl_str_mv |
Nascimento, André Vinicius Rodrigues Passos |
dc.contributor.advisor-co1.fl_str_mv |
Rodrigues Júnior, Methanias Colaço |
contributor_str_mv |
Nascimento, André Vinicius Rodrigues Passos Rodrigues Júnior, Methanias Colaço |
dc.subject.por.fl_str_mv |
Sistemas de computação Banco de dados |
topic |
Sistemas de computação Banco de dados Data Warehouse Processo ETL Scheduler ETL CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
dc.subject.eng.fl_str_mv |
Data Warehouse Processo ETL Scheduler ETL |
dc.subject.cnpq.fl_str_mv |
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
description |
During the creation of a data warehouse environment, one of the most important steps is the development of the ETL system (Extract, Transform, Load), which is responsible for the extraction of data in operational systems and external sources, the transformations that these data have to suffer and the load of facts and dimensions. Although crucial, the processes of extraction, transformation and load are only a part of the life cycle of an ETL system development. As important as the process, is the correct scheduling, the precise execution and the continuous monitoring. These activities are responsibility of an ETL subsystem, known as Scheduler. This paper proposes a Scheduler for ETL processes. With the use of metadata, the used approach tries to simplify the processes of scheduling, execution and monitoring of ETL processes in a data warehouse environment. |
publishDate |
2015 |
dc.date.issued.fl_str_mv |
2015-02-25 |
dc.date.accessioned.fl_str_mv |
2017-12-21T17:12:43Z |
dc.date.available.fl_str_mv |
2017-12-21T17:12:43Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
OLIVEIRA, Sthefanie Carvalho Rodrigues. Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL. 2015. 76 f. TCC (Bacharelado em Sistemas de Informação ) - Universidade Federal de Sergipe, Itabaiana, SE, 2015. |
dc.identifier.uri.fl_str_mv |
http://ri.ufs.br/jspui/handle/riufs/7140 |
identifier_str_mv |
OLIVEIRA, Sthefanie Carvalho Rodrigues. Projeto e implementação de subsistema para agendamento, execução e monitoramento de processos ETL. 2015. 76 f. TCC (Bacharelado em Sistemas de Informação ) - Universidade Federal de Sergipe, Itabaiana, SE, 2015. |
url |
http://ri.ufs.br/jspui/handle/riufs/7140 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.initials.fl_str_mv |
Universidade Federal de Sergipe |
dc.publisher.department.fl_str_mv |
DSI - Departamento de Sistema de Informação – Itabaiana - Presencial |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFS instname:Universidade Federal de Sergipe (UFS) instacron:UFS |
instname_str |
Universidade Federal de Sergipe (UFS) |
instacron_str |
UFS |
institution |
UFS |
reponame_str |
Repositório Institucional da UFS |
collection |
Repositório Institucional da UFS |
bitstream.url.fl_str_mv |
https://ri.ufs.br/jspui/bitstream/riufs/7140/2/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf https://ri.ufs.br/jspui/bitstream/riufs/7140/3/license.txt https://ri.ufs.br/jspui/bitstream/riufs/7140/4/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf.txt https://ri.ufs.br/jspui/bitstream/riufs/7140/5/Sthefanie_Carvalho_Rodrigues_Oliveira.pdf.jpg |
bitstream.checksum.fl_str_mv |
5c329077f3aa6a740a7f636e7e74d443 098cbbf65c2c15e1fb2e49c5d306a44c 2c07265496d921e041843449d0de188e d76192483f7cbf2a3b8c8f82d4e01992 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS) |
repository.mail.fl_str_mv |
repositorio@academico.ufs.br |
_version_ |
1802110673518329856 |