Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia.
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFU |
Texto Completo: | https://repositorio.ufu.br/handle/123456789/35517 |
Resumo: | ETL – which stands for data extraction, transformation and loading – is an integration process between different data sources capable of generating insights through possible transformations and storing the data in a single location. This technical report aims to describe the steps developed in an automated ETL process, created to optimize activities performed manually in the treatment of research data, applied by a technology company. Thus, it was proposed to use the Knime tool because it is intuitive, quick to implement and is open-source, enabling the implementation of the process without additional costs. The results obtained with the application of the process and its automation brought an increase in productivity, improved data accuracy and consumer experience, with agility as the main factor in the results, generating a gain of 23,8 hours on average for each execution of the process. However, this report can serve as an example for implementation in other projects and in other areas present in the job market. |
id |
UFU_20049d198b68dbbe80762310633545f9 |
---|---|
oai_identifier_str |
oai:repositorio.ufu.br:123456789/35517 |
network_acronym_str |
UFU |
network_name_str |
Repositório Institucional da UFU |
repository_id_str |
|
spelling |
Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia.Automated ETL process development on research data from a company in the technology area.ETLAutomatizaçãoKnimeCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAOETL – which stands for data extraction, transformation and loading – is an integration process between different data sources capable of generating insights through possible transformations and storing the data in a single location. This technical report aims to describe the steps developed in an automated ETL process, created to optimize activities performed manually in the treatment of research data, applied by a technology company. Thus, it was proposed to use the Knime tool because it is intuitive, quick to implement and is open-source, enabling the implementation of the process without additional costs. The results obtained with the application of the process and its automation brought an increase in productivity, improved data accuracy and consumer experience, with agility as the main factor in the results, generating a gain of 23,8 hours on average for each execution of the process. However, this report can serve as an example for implementation in other projects and in other areas present in the job market.Trabalho de Conclusão de Curso (Graduação)O ETL – cuja sigla significa extração, transformação e load (carregamento) dos dados – é um processo de integração entre diferentes fontes de dados capaz de gerar insights através das possíveis transformações e de armazenar os dados em um único local. Este relato tecnológico tem o objetivo de apresentar a elaboração de um processo ETL automatizado, criado para otimizar atividades realizadas no tratamento de dados de pesquisas, aplicadas por uma empresa da área de tecnologia. Deste modo, propôs-se a utilização da ferramenta Knime por ser intuitiva, rápida para implantação e ser open-source (código-aberto), possibilitando a implementação do processo sem custos adicionais. Os resultados obtidos com a aplicação do processo e sua automatização trouxeram aumento na produtividade, melhora na precisão dos dados e na experiência do consumidor, tendo a agilidade como fator principal dos resultados gerando um ganho de 23,8 horas em média a cada execução do processo. Contudo, este relato pode servir de exemplo para implementação em outros projetos e em outras áreas presentes no mercado de trabalho.Universidade Federal de UberlândiaBrasilGestão da InformaçãoLopes, José Eduardo Ferreirahttp://lattes.cnpq.br/1181111177305483Penedo, Antonio Sergio Torreshttp://lattes.cnpq.br/6987375118761399Gandolfi, Peterson Elizandrohttp://lattes.cnpq.br/8009321964299536Santos, Denise Araújo2022-08-17T18:50:36Z2022-08-17T18:50:36Z2022-08-11info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfSANTOS, Denise Araújo. Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. 2022. 22 f. Trabalho de Conclusão de Curso (Graduação em Gestão da Informação) – Universidade Federal de Uberlândia, Uberlândia, 2022.https://repositorio.ufu.br/handle/123456789/35517porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFUinstname:Universidade Federal de Uberlândia (UFU)instacron:UFU2022-08-18T06:15:02Zoai:repositorio.ufu.br:123456789/35517Repositório InstitucionalONGhttp://repositorio.ufu.br/oai/requestdiinf@dirbi.ufu.bropendoar:2022-08-18T06:15:02Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)false |
dc.title.none.fl_str_mv |
Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. Automated ETL process development on research data from a company in the technology area. |
title |
Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. |
spellingShingle |
Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. Santos, Denise Araújo ETL Automatização Knime CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO |
title_short |
Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. |
title_full |
Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. |
title_fullStr |
Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. |
title_full_unstemmed |
Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. |
title_sort |
Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. |
author |
Santos, Denise Araújo |
author_facet |
Santos, Denise Araújo |
author_role |
author |
dc.contributor.none.fl_str_mv |
Lopes, José Eduardo Ferreira http://lattes.cnpq.br/1181111177305483 Penedo, Antonio Sergio Torres http://lattes.cnpq.br/6987375118761399 Gandolfi, Peterson Elizandro http://lattes.cnpq.br/8009321964299536 |
dc.contributor.author.fl_str_mv |
Santos, Denise Araújo |
dc.subject.por.fl_str_mv |
ETL Automatização Knime CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO |
topic |
ETL Automatização Knime CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO |
description |
ETL – which stands for data extraction, transformation and loading – is an integration process between different data sources capable of generating insights through possible transformations and storing the data in a single location. This technical report aims to describe the steps developed in an automated ETL process, created to optimize activities performed manually in the treatment of research data, applied by a technology company. Thus, it was proposed to use the Knime tool because it is intuitive, quick to implement and is open-source, enabling the implementation of the process without additional costs. The results obtained with the application of the process and its automation brought an increase in productivity, improved data accuracy and consumer experience, with agility as the main factor in the results, generating a gain of 23,8 hours on average for each execution of the process. However, this report can serve as an example for implementation in other projects and in other areas present in the job market. |
publishDate |
2022 |
dc.date.none.fl_str_mv |
2022-08-17T18:50:36Z 2022-08-17T18:50:36Z 2022-08-11 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
SANTOS, Denise Araújo. Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. 2022. 22 f. Trabalho de Conclusão de Curso (Graduação em Gestão da Informação) – Universidade Federal de Uberlândia, Uberlândia, 2022. https://repositorio.ufu.br/handle/123456789/35517 |
identifier_str_mv |
SANTOS, Denise Araújo. Desenvolvimento de processo ETL automatizado em dados de pesquisas de uma empresa na área de tecnologia. 2022. 22 f. Trabalho de Conclusão de Curso (Graduação em Gestão da Informação) – Universidade Federal de Uberlândia, Uberlândia, 2022. |
url |
https://repositorio.ufu.br/handle/123456789/35517 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal de Uberlândia Brasil Gestão da Informação |
publisher.none.fl_str_mv |
Universidade Federal de Uberlândia Brasil Gestão da Informação |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFU instname:Universidade Federal de Uberlândia (UFU) instacron:UFU |
instname_str |
Universidade Federal de Uberlândia (UFU) |
instacron_str |
UFU |
institution |
UFU |
reponame_str |
Repositório Institucional da UFU |
collection |
Repositório Institucional da UFU |
repository.name.fl_str_mv |
Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU) |
repository.mail.fl_str_mv |
diinf@dirbi.ufu.br |
_version_ |
1805569711466872832 |