Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil

Detalhes bibliográficos
Autor(a) principal: Ferreira, Geison Leonino de Souza
Data de Publicação: 2024
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da Universidade Federal Fluminense (RIUFF)
Texto Completo: http://app.uff.br/riuff/handle/1/32519
Resumo: O artigo aborda as técnicas de scraping e construção de um banco de dados no contexto do mercado de ações brasileiro. Partiu-se da identificação do problema que as bases gratuitas de fontes secundárias disponíveis não atendem plenamente as regras e prazos locais. Assim, optou-se pela construção de uma base a partir das fontes primárias como a B3 e CVM. Usou-se estratégias de ETL para fazer as extrações, transformações e cargas. Para as extrações, levantou-se a localização das informações disponíveis, analisou -se como integrá-las e construiu-se os algoritmos de scraping. Para as transformações, levantou-se as legislações pertinentes e construiu-se os algoritmos para dar os tratamentos adequados. Para a carga, desenhou-se dois bancos de dados, um temporário tipo data lake e o banco de dados final, alimentado pelos algoritmos de carga. De sta forma, foi possível manter um banco de dados de atualização automatizada. O resultado foi uma base de dados integrada com demonstrações financeiras e cotações de 2012 a 2021, com um total de 415 empresas, totalizando 512 códigos de negociação, agregando os dados de cadastro, setores e referenciando-os pelo ISIN.
id UFF-2_e11e7e6d18f4f3c80269c1aefca62045
oai_identifier_str oai:app.uff.br:1/32519
network_acronym_str UFF-2
network_name_str Repositório Institucional da Universidade Federal Fluminense (RIUFF)
repository_id_str 2120
spelling Scraping e construção de base de dados financeiros aplicados ao mercado de ações do BrasilBanco de dadosMineração de dadosRaspagem de dadosBanco de dadosÍndice de mercado de açõesBrasilDatabasesData miningScrapingO artigo aborda as técnicas de scraping e construção de um banco de dados no contexto do mercado de ações brasileiro. Partiu-se da identificação do problema que as bases gratuitas de fontes secundárias disponíveis não atendem plenamente as regras e prazos locais. Assim, optou-se pela construção de uma base a partir das fontes primárias como a B3 e CVM. Usou-se estratégias de ETL para fazer as extrações, transformações e cargas. Para as extrações, levantou-se a localização das informações disponíveis, analisou -se como integrá-las e construiu-se os algoritmos de scraping. Para as transformações, levantou-se as legislações pertinentes e construiu-se os algoritmos para dar os tratamentos adequados. Para a carga, desenhou-se dois bancos de dados, um temporário tipo data lake e o banco de dados final, alimentado pelos algoritmos de carga. De sta forma, foi possível manter um banco de dados de atualização automatizada. O resultado foi uma base de dados integrada com demonstrações financeiras e cotações de 2012 a 2021, com um total de 415 empresas, totalizando 512 códigos de negociação, agregando os dados de cadastro, setores e referenciando-os pelo ISIN.This article discusses the scraping and construction of a database techniques in the Brazilian Stock Market context. The problem identified is the free secondary available databases don’t meet fully the local rules and deadlines. So was chosen the construction of a database from primary sources, such as B3 and CVM. By using ETL strategies to do the extractions, transformations , and load. For the extractions, the localization of the available information was identified, analyzed how to integrate them, and scraping algorithms were constructed. For the transformations, the relevant legislation was considered and the algorithms responsible to give the right treatments wase constructed. For the loading, two databases were designed, the first like data lake and the n the final database, input by the loading algorithms. In this way was possible to maintain an automated update database. The result was an integrated database containing financial statements and quotations from 2012 to 2021, with 415 companies, totaling 512 tickers codes, and that aggregate registration and sectors data, referencing the m by the ISIN.Oliveira, Daniel Cardoso Moraes deFerreira, Geison Leonino de Souza2024-03-01T13:50:59Z2024-03-01T13:50:59Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfFERREIRA, Geison Leonino de Souza. Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil. 2023. 42 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) - Instituto de Computação, Universidade Federal Fluminense, Niterói, 2023.http://app.uff.br/riuff/handle/1/32519CC-BY-SAinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Universidade Federal Fluminense (RIUFF)instname:Universidade Federal Fluminense (UFF)instacron:UFF2024-03-01T13:51:04Zoai:app.uff.br:1/32519Repositório InstitucionalPUBhttps://app.uff.br/oai/requestriuff@id.uff.bropendoar:21202024-03-01T13:51:04Repositório Institucional da Universidade Federal Fluminense (RIUFF) - Universidade Federal Fluminense (UFF)false
dc.title.none.fl_str_mv Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil
title Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil
spellingShingle Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil
Ferreira, Geison Leonino de Souza
Banco de dados
Mineração de dados
Raspagem de dados
Banco de dados
Índice de mercado de ações
Brasil
Databases
Data mining
Scraping
title_short Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil
title_full Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil
title_fullStr Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil
title_full_unstemmed Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil
title_sort Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil
author Ferreira, Geison Leonino de Souza
author_facet Ferreira, Geison Leonino de Souza
author_role author
dc.contributor.none.fl_str_mv Oliveira, Daniel Cardoso Moraes de
dc.contributor.author.fl_str_mv Ferreira, Geison Leonino de Souza
dc.subject.por.fl_str_mv Banco de dados
Mineração de dados
Raspagem de dados
Banco de dados
Índice de mercado de ações
Brasil
Databases
Data mining
Scraping
topic Banco de dados
Mineração de dados
Raspagem de dados
Banco de dados
Índice de mercado de ações
Brasil
Databases
Data mining
Scraping
description O artigo aborda as técnicas de scraping e construção de um banco de dados no contexto do mercado de ações brasileiro. Partiu-se da identificação do problema que as bases gratuitas de fontes secundárias disponíveis não atendem plenamente as regras e prazos locais. Assim, optou-se pela construção de uma base a partir das fontes primárias como a B3 e CVM. Usou-se estratégias de ETL para fazer as extrações, transformações e cargas. Para as extrações, levantou-se a localização das informações disponíveis, analisou -se como integrá-las e construiu-se os algoritmos de scraping. Para as transformações, levantou-se as legislações pertinentes e construiu-se os algoritmos para dar os tratamentos adequados. Para a carga, desenhou-se dois bancos de dados, um temporário tipo data lake e o banco de dados final, alimentado pelos algoritmos de carga. De sta forma, foi possível manter um banco de dados de atualização automatizada. O resultado foi uma base de dados integrada com demonstrações financeiras e cotações de 2012 a 2021, com um total de 415 empresas, totalizando 512 códigos de negociação, agregando os dados de cadastro, setores e referenciando-os pelo ISIN.
publishDate 2024
dc.date.none.fl_str_mv 2024-03-01T13:50:59Z
2024-03-01T13:50:59Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv FERREIRA, Geison Leonino de Souza. Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil. 2023. 42 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) - Instituto de Computação, Universidade Federal Fluminense, Niterói, 2023.
http://app.uff.br/riuff/handle/1/32519
identifier_str_mv FERREIRA, Geison Leonino de Souza. Scraping e construção de base de dados financeiros aplicados ao mercado de ações do Brasil. 2023. 42 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) - Instituto de Computação, Universidade Federal Fluminense, Niterói, 2023.
url http://app.uff.br/riuff/handle/1/32519
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv CC-BY-SA
info:eu-repo/semantics/openAccess
rights_invalid_str_mv CC-BY-SA
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal Fluminense (RIUFF)
instname:Universidade Federal Fluminense (UFF)
instacron:UFF
instname_str Universidade Federal Fluminense (UFF)
instacron_str UFF
institution UFF
reponame_str Repositório Institucional da Universidade Federal Fluminense (RIUFF)
collection Repositório Institucional da Universidade Federal Fluminense (RIUFF)
repository.name.fl_str_mv Repositório Institucional da Universidade Federal Fluminense (RIUFF) - Universidade Federal Fluminense (UFF)
repository.mail.fl_str_mv riuff@id.uff.br
_version_ 1802135414680584192

Registros relacionados