Web scraping: uma solução para coleta de informações na área farmacêutica
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Outros Autores: | |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da Universidade Federal Fluminense (RIUFF) |
Texto Completo: | http://app.uff.br/riuff/handle/1/30900 |
Resumo: | A internet é uma fonte virtualmente inesgotável de informações e que desempenha um papel cada vez mais relevante no auxílio à tomada de decisões. Obter um dado preciso em um tempo razoável e mantê-lo atualizado, sem grande esforço, pode ser um fator determinante para o sucesso de um projeto, negócio ou pesquisa. Atualmente, existem tecnologias e ferramentas que possibilitam a extração automática e seletiva (mineração) de dados da internet, atividade conhecida como web scraping, de forma simples e rápida através de pequenos softwares criados com poucas linhas de código. Neste trabalho apresentamos a implementação de três robôs de mineração, para três respectivas fontes específicas de dados, relevantes à pesquisa farmacêutica. Para elaboração deste projeto, uma reunião foi feita com um pesquisador farmacêutico especialista que contribuiu para a definição dos requisitos desta demanda e das três fontes de dados das quais as informações pertinentes são extraídas. Ainda com a participação do especialista farmacêutico, foram realizados testes com o sistema desenvolvido para a validação dos resultados obtidos considerando a abrangência da coleta automática, a precisão dos dados coletados e o tempo de processamento necessário para cada uma das fontes de dados definidas |
id |
UFF-2_c92d890b34a711ad6237f678c8db9f7f |
---|---|
oai_identifier_str |
oai:app.uff.br:1/30900 |
network_acronym_str |
UFF-2 |
network_name_str |
Repositório Institucional da Universidade Federal Fluminense (RIUFF) |
repository_id_str |
2120 |
spelling |
Web scraping: uma solução para coleta de informações na área farmacêuticaWeb scrapingMineração de dadosExtração automática de dadosPesquisa farmacêuticaMineração de dados (Computação)Pesquisa farmacológicaDesenvolvimento de softwareData-miningAutomatic data extractionSoftware projectPharmaceutical researchA internet é uma fonte virtualmente inesgotável de informações e que desempenha um papel cada vez mais relevante no auxílio à tomada de decisões. Obter um dado preciso em um tempo razoável e mantê-lo atualizado, sem grande esforço, pode ser um fator determinante para o sucesso de um projeto, negócio ou pesquisa. Atualmente, existem tecnologias e ferramentas que possibilitam a extração automática e seletiva (mineração) de dados da internet, atividade conhecida como web scraping, de forma simples e rápida através de pequenos softwares criados com poucas linhas de código. Neste trabalho apresentamos a implementação de três robôs de mineração, para três respectivas fontes específicas de dados, relevantes à pesquisa farmacêutica. Para elaboração deste projeto, uma reunião foi feita com um pesquisador farmacêutico especialista que contribuiu para a definição dos requisitos desta demanda e das três fontes de dados das quais as informações pertinentes são extraídas. Ainda com a participação do especialista farmacêutico, foram realizados testes com o sistema desenvolvido para a validação dos resultados obtidos considerando a abrangência da coleta automática, a precisão dos dados coletados e o tempo de processamento necessário para cada uma das fontes de dados definidasThe Internet is a virtually-inexhaustible source of information that plays an increasingly important role in aiding decision-making. Obtaining accurate data within a reasonable time frame and effortless keeping these data up to date can be a determining factor in the success of a project, business or research. Nowadays, there are technologies and tools that make automatic and selective internet data extraction (data-mining or "web scraping") possible, simply and quickly, through developing small software using only a few lines of code. In this paper, we present the implementation of three data-mining robots for three respective and specific data sources, all relevant to pharmaceutical research. To develop this project, a meeting was held with a specialist pharmaceutical researcher who contributed to the definitions regarding this demand's requirements and the definition of the three data sources from which the information is extracted. Yet supported by the pharmaceutical specialist, the developed system was tested to validate the observed results taking into consideration the comprehensiveness of the automatic data gathering, the accuracy of the collected data and the processing time for each one of the defined data sources78 p.Mantuan, Altobelli de Britohttp://lattes.cnpq.br/5002413550846760Sousa, Eduardo Verahttp://lattes.cnpq.br/1344911587821750Resende, Marianne GriloDernier, Miquéias Santos da SilvaZanovelli, Vinicius Gonçalves2023-10-23T16:51:49Z2023-10-23T16:51:49Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisapplication/pdfDERNIER, Miquéias Santos da Silva; . Web scraping: uma solução para coleta de informações na área farmacêutica. 2019. 78 f. Trabalho de Conclusão de Curso (Graduação em Tecnologia em Sistemas de Computação) - Instituto de Computação, Universidade Federal Fluminense, Niterói, 2019.http://app.uff.br/riuff/handle/1/30900CC-BY-SAinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Universidade Federal Fluminense (RIUFF)instname:Universidade Federal Fluminense (UFF)instacron:UFF2023-10-23T16:51:53Zoai:app.uff.br:1/30900Repositório InstitucionalPUBhttps://app.uff.br/oai/requestriuff@id.uff.bropendoar:21202023-10-23T16:51:53Repositório Institucional da Universidade Federal Fluminense (RIUFF) - Universidade Federal Fluminense (UFF)false |
dc.title.none.fl_str_mv |
Web scraping: uma solução para coleta de informações na área farmacêutica |
title |
Web scraping: uma solução para coleta de informações na área farmacêutica |
spellingShingle |
Web scraping: uma solução para coleta de informações na área farmacêutica Dernier, Miquéias Santos da Silva Web scraping Mineração de dados Extração automática de dados Pesquisa farmacêutica Mineração de dados (Computação) Pesquisa farmacológica Desenvolvimento de software Data-mining Automatic data extraction Software project Pharmaceutical research |
title_short |
Web scraping: uma solução para coleta de informações na área farmacêutica |
title_full |
Web scraping: uma solução para coleta de informações na área farmacêutica |
title_fullStr |
Web scraping: uma solução para coleta de informações na área farmacêutica |
title_full_unstemmed |
Web scraping: uma solução para coleta de informações na área farmacêutica |
title_sort |
Web scraping: uma solução para coleta de informações na área farmacêutica |
author |
Dernier, Miquéias Santos da Silva |
author_facet |
Dernier, Miquéias Santos da Silva Zanovelli, Vinicius Gonçalves |
author_role |
author |
author2 |
Zanovelli, Vinicius Gonçalves |
author2_role |
author |
dc.contributor.none.fl_str_mv |
Mantuan, Altobelli de Brito http://lattes.cnpq.br/5002413550846760 Sousa, Eduardo Vera http://lattes.cnpq.br/1344911587821750 Resende, Marianne Grilo |
dc.contributor.author.fl_str_mv |
Dernier, Miquéias Santos da Silva Zanovelli, Vinicius Gonçalves |
dc.subject.por.fl_str_mv |
Web scraping Mineração de dados Extração automática de dados Pesquisa farmacêutica Mineração de dados (Computação) Pesquisa farmacológica Desenvolvimento de software Data-mining Automatic data extraction Software project Pharmaceutical research |
topic |
Web scraping Mineração de dados Extração automática de dados Pesquisa farmacêutica Mineração de dados (Computação) Pesquisa farmacológica Desenvolvimento de software Data-mining Automatic data extraction Software project Pharmaceutical research |
description |
A internet é uma fonte virtualmente inesgotável de informações e que desempenha um papel cada vez mais relevante no auxílio à tomada de decisões. Obter um dado preciso em um tempo razoável e mantê-lo atualizado, sem grande esforço, pode ser um fator determinante para o sucesso de um projeto, negócio ou pesquisa. Atualmente, existem tecnologias e ferramentas que possibilitam a extração automática e seletiva (mineração) de dados da internet, atividade conhecida como web scraping, de forma simples e rápida através de pequenos softwares criados com poucas linhas de código. Neste trabalho apresentamos a implementação de três robôs de mineração, para três respectivas fontes específicas de dados, relevantes à pesquisa farmacêutica. Para elaboração deste projeto, uma reunião foi feita com um pesquisador farmacêutico especialista que contribuiu para a definição dos requisitos desta demanda e das três fontes de dados das quais as informações pertinentes são extraídas. Ainda com a participação do especialista farmacêutico, foram realizados testes com o sistema desenvolvido para a validação dos resultados obtidos considerando a abrangência da coleta automática, a precisão dos dados coletados e o tempo de processamento necessário para cada uma das fontes de dados definidas |
publishDate |
2023 |
dc.date.none.fl_str_mv |
2023-10-23T16:51:49Z 2023-10-23T16:51:49Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
DERNIER, Miquéias Santos da Silva; . Web scraping: uma solução para coleta de informações na área farmacêutica. 2019. 78 f. Trabalho de Conclusão de Curso (Graduação em Tecnologia em Sistemas de Computação) - Instituto de Computação, Universidade Federal Fluminense, Niterói, 2019. http://app.uff.br/riuff/handle/1/30900 |
identifier_str_mv |
DERNIER, Miquéias Santos da Silva; . Web scraping: uma solução para coleta de informações na área farmacêutica. 2019. 78 f. Trabalho de Conclusão de Curso (Graduação em Tecnologia em Sistemas de Computação) - Instituto de Computação, Universidade Federal Fluminense, Niterói, 2019. |
url |
http://app.uff.br/riuff/handle/1/30900 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
CC-BY-SA info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
CC-BY-SA |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade Federal Fluminense (RIUFF) instname:Universidade Federal Fluminense (UFF) instacron:UFF |
instname_str |
Universidade Federal Fluminense (UFF) |
instacron_str |
UFF |
institution |
UFF |
reponame_str |
Repositório Institucional da Universidade Federal Fluminense (RIUFF) |
collection |
Repositório Institucional da Universidade Federal Fluminense (RIUFF) |
repository.name.fl_str_mv |
Repositório Institucional da Universidade Federal Fluminense (RIUFF) - Universidade Federal Fluminense (UFF) |
repository.mail.fl_str_mv |
riuff@id.uff.br |
_version_ |
1807838726580076544 |