Extração de dados com web scraping para análise da variação de preço de veículos automotores

Detalhes bibliográficos
Autor(a) principal: Borges, Thiago da Cunha
Data de Publicação: 2018
Outros Autores: Ganimi, Zeus Olenchuk
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da Universidade Federal Fluminense (RIUFF)
Texto Completo: https://app.uff.br/riuff/handle/1/8930
Resumo: A previsão de acontecimentos é uma necessidade do homem, o qual, para orientar melhor suas decisões, buscou formas de conhecer os fatos futuros através de diversos métodos ao longo da história. Estimar eventos futuros com base na observação de dados de fácil interpretação é algo que todos nós fazemos, como saber que há grande chance de ocorrer chuvas quando o céu está negro pela densidade das nuvens e trovões. Porém, atualmente, as necessidades de prever eventos futuros demandam a análise de dados mais complexos e, portanto, métodos mais elaborados, os quais podem fornecer as respostas de que necessitamos, bem como oferecer maior probabilidade de acerto, do que por métodos empíricos. Diante de tal necessidade, será desenvolvida uma ferramenta, que implementa os conceitos de Web Scraping e de persistência de dados, a qual permite a aquisição automatizada de dados semiestruturados de sites da Internet, bem como o seu armazenamento estruturado, provendo uma base de dados de interesse para consultas e análises, as quais podem ser úteis para apoiar diversos processos, bem como a otimização de recursos. Por fim, apresentaremos uma amostra de dados de veículos automotivos, obtida do site da FIPE, através da ferramenta (fipe-scraper) objeto deste Trabalho
id UFF-2_fbaa83929b7b155e1e1e0bc1a8476133
oai_identifier_str oai:app.uff.br:1/8930
network_acronym_str UFF-2
network_name_str Repositório Institucional da Universidade Federal Fluminense (RIUFF)
repository_id_str 2120
spelling Extração de dados com web scraping para análise da variação de preço de veículos automotoresWeb scrapingPythonPostgreSQLEngenharia de softwareEngenharia de softwarePython (Linguagem de programação de computador)Software engineeringA previsão de acontecimentos é uma necessidade do homem, o qual, para orientar melhor suas decisões, buscou formas de conhecer os fatos futuros através de diversos métodos ao longo da história. Estimar eventos futuros com base na observação de dados de fácil interpretação é algo que todos nós fazemos, como saber que há grande chance de ocorrer chuvas quando o céu está negro pela densidade das nuvens e trovões. Porém, atualmente, as necessidades de prever eventos futuros demandam a análise de dados mais complexos e, portanto, métodos mais elaborados, os quais podem fornecer as respostas de que necessitamos, bem como oferecer maior probabilidade de acerto, do que por métodos empíricos. Diante de tal necessidade, será desenvolvida uma ferramenta, que implementa os conceitos de Web Scraping e de persistência de dados, a qual permite a aquisição automatizada de dados semiestruturados de sites da Internet, bem como o seu armazenamento estruturado, provendo uma base de dados de interesse para consultas e análises, as quais podem ser úteis para apoiar diversos processos, bem como a otimização de recursos. Por fim, apresentaremos uma amostra de dados de veículos automotivos, obtida do site da FIPE, através da ferramenta (fipe-scraper) objeto deste TrabalhoThe prediction of events is a necessity of man, who, in order to better guide his decisions, sought ways to know the future facts through various methods throughout history. Estimating future events based on observation of easily interpreted data is something we all do, such as knowing that there is a high chance of rainfall when the sky is black by the density of clouds and thunder. However, nowadays, the need to predict future events demandates more complex data analysis and therefore more elaborate methods, which can provide the answers we need, as well as offer a greater probability of success, than by empirical methods. Facing this need, a tool will be developed, which implements the concepts of Web Scraping and data persistence, which allows the automated acquisition of semi structured data from Internet sites, as well as its structured storage, providing a database of interest for queries and analyzes, which can be useful to support several processes as well as resource optimization. Finally, we will present a sample of automotive vehicle data, obtained from the FIPE website, through the tool (fipe-scraper) object of this WorkUniversidade Federal FluminenseNiteróiZahn, Jean de OliveiraVasconcelos, Leonardo PioBorges, Thiago da CunhaGanimi, Zeus Olenchuk2019-03-27T16:23:00Z2019-03-27T16:23:00Z2018info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfhttps://app.uff.br/riuff/handle/1/8930Aluno de graduaçãohttp://creativecommons.org/licenses/by-nc-nd/3.0/br/CC-BY-SAinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Universidade Federal Fluminense (RIUFF)instname:Universidade Federal Fluminense (UFF)instacron:UFF2022-04-08T13:35:53Zoai:app.uff.br:1/8930Repositório InstitucionalPUBhttps://app.uff.br/oai/requestriuff@id.uff.bropendoar:21202024-08-19T10:50:16.501563Repositório Institucional da Universidade Federal Fluminense (RIUFF) - Universidade Federal Fluminense (UFF)false
dc.title.none.fl_str_mv Extração de dados com web scraping para análise da variação de preço de veículos automotores
title Extração de dados com web scraping para análise da variação de preço de veículos automotores
spellingShingle Extração de dados com web scraping para análise da variação de preço de veículos automotores
Borges, Thiago da Cunha
Web scraping
Python
PostgreSQL
Engenharia de software
Engenharia de software
Python (Linguagem de programação de computador)
Software engineering
title_short Extração de dados com web scraping para análise da variação de preço de veículos automotores
title_full Extração de dados com web scraping para análise da variação de preço de veículos automotores
title_fullStr Extração de dados com web scraping para análise da variação de preço de veículos automotores
title_full_unstemmed Extração de dados com web scraping para análise da variação de preço de veículos automotores
title_sort Extração de dados com web scraping para análise da variação de preço de veículos automotores
author Borges, Thiago da Cunha
author_facet Borges, Thiago da Cunha
Ganimi, Zeus Olenchuk
author_role author
author2 Ganimi, Zeus Olenchuk
author2_role author
dc.contributor.none.fl_str_mv Zahn, Jean de Oliveira
Vasconcelos, Leonardo Pio
dc.contributor.author.fl_str_mv Borges, Thiago da Cunha
Ganimi, Zeus Olenchuk
dc.subject.por.fl_str_mv Web scraping
Python
PostgreSQL
Engenharia de software
Engenharia de software
Python (Linguagem de programação de computador)
Software engineering
topic Web scraping
Python
PostgreSQL
Engenharia de software
Engenharia de software
Python (Linguagem de programação de computador)
Software engineering
description A previsão de acontecimentos é uma necessidade do homem, o qual, para orientar melhor suas decisões, buscou formas de conhecer os fatos futuros através de diversos métodos ao longo da história. Estimar eventos futuros com base na observação de dados de fácil interpretação é algo que todos nós fazemos, como saber que há grande chance de ocorrer chuvas quando o céu está negro pela densidade das nuvens e trovões. Porém, atualmente, as necessidades de prever eventos futuros demandam a análise de dados mais complexos e, portanto, métodos mais elaborados, os quais podem fornecer as respostas de que necessitamos, bem como oferecer maior probabilidade de acerto, do que por métodos empíricos. Diante de tal necessidade, será desenvolvida uma ferramenta, que implementa os conceitos de Web Scraping e de persistência de dados, a qual permite a aquisição automatizada de dados semiestruturados de sites da Internet, bem como o seu armazenamento estruturado, provendo uma base de dados de interesse para consultas e análises, as quais podem ser úteis para apoiar diversos processos, bem como a otimização de recursos. Por fim, apresentaremos uma amostra de dados de veículos automotivos, obtida do site da FIPE, através da ferramenta (fipe-scraper) objeto deste Trabalho
publishDate 2018
dc.date.none.fl_str_mv 2018
2019-03-27T16:23:00Z
2019-03-27T16:23:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://app.uff.br/riuff/handle/1/8930
Aluno de graduação
url https://app.uff.br/riuff/handle/1/8930
identifier_str_mv Aluno de graduação
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
CC-BY-SA
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
CC-BY-SA
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal Fluminense
Niterói
publisher.none.fl_str_mv Universidade Federal Fluminense
Niterói
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal Fluminense (RIUFF)
instname:Universidade Federal Fluminense (UFF)
instacron:UFF
instname_str Universidade Federal Fluminense (UFF)
instacron_str UFF
institution UFF
reponame_str Repositório Institucional da Universidade Federal Fluminense (RIUFF)
collection Repositório Institucional da Universidade Federal Fluminense (RIUFF)
repository.name.fl_str_mv Repositório Institucional da Universidade Federal Fluminense (RIUFF) - Universidade Federal Fluminense (UFF)
repository.mail.fl_str_mv riuff@id.uff.br
_version_ 1811823583884738560

Registros relacionados