Uso de web scraping para mineração de produtos e preços em e-commerce

Detalhes bibliográficos
Autor(a) principal: Oliveira, Wendel Lima
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFS
Texto Completo: https://ri.ufs.br/jspui/handle/riufs/17783
Resumo: The`development`of`information`and`communication`technologies`has`led`to`the`emergence`of`collaborative`systems,`such`as`crowdsourcing,`which`allows`the`mutual`sharing`of`data,`as`diverse`as`possible,`generated`by`smartphones`of`a`community`of`users.`One`of`these`most`popular`systems`is`Waze`which`allows`you`to`identify`congestion-free`transit`routes`using`geolocation`information`from`mobile`devices.`LudiiPrice`is`a`crowdsourcing`application`that`is`being`developed`at`UFS`under`the`coordination`of`the`supervisors`of`this`monograph`and`consists`of`a`price`fnder`for`personal`consumables`and`groceries`obtained`by`QR`code`photographed`by`smartphones.`Invoice`data`is`stored`in`a`database`that`is`used`to`respond`to`user`queries.`The`objective`of`this`work`is`to`automatically`populate`this`database`using`a`web`crawler`to`extract`price`data`from`products`published`in`e-commerce`portals.`The`data`obtained`is`processed`using`Natural`Language`Processing`techniques`and`aims`to`suggest`each`item`entered`through`the`invoice.`The`crawler`and`the`suggestions`are`requested`through`an`API,`which`was`built`using`the`Django`framework`that`uses`Python`as`its`language.`As`a`result`of`the`work,`crawlers`are`performed`in`three`e-commerce`that`populate`a`base`and`suggest`items`extracted`from`crawler`for`each`product`present`in`the`invoice`inserted`in`the`LudiiPrice`application.
id UFS-2_ed52c300f7c1b9720da7243bf89bf3c2
oai_identifier_str oai:ufs.br:riufs/17783
network_acronym_str UFS-2
network_name_str Repositório Institucional da UFS
repository_id_str
spelling Oliveira, Wendel LimaMatos, Leonardo NogueiraBispo, Thiago Dias2023-07-06T12:04:07Z2023-07-06T12:04:07Z2023Oliveira, Wendel Carvalho. Uso de web scraping para mineração de produtos e preços em e-commerce. São Cristóvão: 2022. - Monografia (graduação em Engenharia de Computação) - Departamento de Computação, Centro de Ciências Exatas e Tecnologia, Universidade Federal de Sergipe, São Cristóvão, SE, 2023https://ri.ufs.br/jspui/handle/riufs/17783The`development`of`information`and`communication`technologies`has`led`to`the`emergence`of`collaborative`systems,`such`as`crowdsourcing,`which`allows`the`mutual`sharing`of`data,`as`diverse`as`possible,`generated`by`smartphones`of`a`community`of`users.`One`of`these`most`popular`systems`is`Waze`which`allows`you`to`identify`congestion-free`transit`routes`using`geolocation`information`from`mobile`devices.`LudiiPrice`is`a`crowdsourcing`application`that`is`being`developed`at`UFS`under`the`coordination`of`the`supervisors`of`this`monograph`and`consists`of`a`price`fnder`for`personal`consumables`and`groceries`obtained`by`QR`code`photographed`by`smartphones.`Invoice`data`is`stored`in`a`database`that`is`used`to`respond`to`user`queries.`The`objective`of`this`work`is`to`automatically`populate`this`database`using`a`web`crawler`to`extract`price`data`from`products`published`in`e-commerce`portals.`The`data`obtained`is`processed`using`Natural`Language`Processing`techniques`and`aims`to`suggest`each`item`entered`through`the`invoice.`The`crawler`and`the`suggestions`are`requested`through`an`API,`which`was`built`using`the`Django`framework`that`uses`Python`as`its`language.`As`a`result`of`the`work,`crawlers`are`performed`in`three`e-commerce`that`populate`a`base`and`suggest`items`extracted`from`crawler`for`each`product`present`in`the`invoice`inserted`in`the`LudiiPrice`application.O`desenvolvimento`das`tecnologias`de`informação`e`comunicação`propiciou`o`aparecimento`de`sistemas`colaborativos,`como`crowdsourcing,`que`permite`o`compartilhamento`mútuo`de`dados,`os`mais`diversos`possíveis,`gerados`por`smartphones`de`uma`comunidade`de`usuários.`Um`destes`sistemas`mais`populares`é`o`Waze`que`permite`identifcar`rotas`de`trânsito`livres`de`congestionamento`usando`informações`de`geolocalização`de`aparelhos`celulares.`O`LudiiPrice`é`um`aplicativo`crowdsourcing`em`desenvolvimento`na`UFS,`sob`coordenação`dos`orientadores`desta`monografa,`que`consiste`em`um`buscador`de`preços`de`produtos`de`itens`de`consumo`pessoal`e`gênero`alimentício`minerados`a`partir`de`notas`fscais`eletrônicas`obtidas`pelo`código`QR`fotografado`por`smartphones.`Os`dados`das`notas`fscais`são`armazenados`em`uma`base`de`dados,`usada`para`responder`às`consultas`realizadas`pelos`usuários.`O`objetivo`deste`trabalho`é`realizar`o`povoamento`automático`desta`base`de`dados`usando`um`web`crawler`para`extrair`dados`de`preços`de`itens`publicados`em`portais`de`e-commerce.`Os`dados`minerados`são`processados`usando`técnicas`de`Processamento`de`Linguagem`Natural`e`tem`como`objetivo`a`sugestão`para`cada`item`inserido`através`da`nota`fscal.`O`crawler`e`as`sugestões`são`requisitados`através`de`uma`API,`que`foi`construída`utilizando`o`framework`Django`que`utiliza`Python`como`linguagem.`Como`resultado`do`trabalho`os`crawlers`são`realizados`em`três`e-commerce`que`populam`uma`base`e`sugere`itens`extraídos`do`crawler`para`cada`produto`presente`na`nota`fscal`inserida`no`aplicativo`LudiiPriceSão Cristóvão, SEporEngenharia da computaçãoEnsino superiorComputaçãoWeb scrapingMineração de produtosE-commerceComércio eletrônicoEngenharia de softwareCrowdsourcingCrawlerNatural language processingENGENHARIASUso de web scraping para mineração de produtos e preços em e-commerceinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal de Sergipe (UFS)DCOMP - Departamento de Computação – Engenharia de Computação – São Cristóvão - Presencialreponame:Repositório Institucional da UFSinstname:Universidade Federal de Sergipe (UFS)instacron:UFSinfo:eu-repo/semantics/openAccessLICENSElicense.txtlicense.txttext/plain; charset=utf-81475https://ri.ufs.br/jspui/bitstream/riufs/17783/1/license.txt098cbbf65c2c15e1fb2e49c5d306a44cMD51ORIGINALWendel_Lima_Oliveira.pdfWendel_Lima_Oliveira.pdfapplication/pdf1947384https://ri.ufs.br/jspui/bitstream/riufs/17783/2/Wendel_Lima_Oliveira.pdfb31f73b8064473d2567bfac5b68858e1MD52TEXTWendel_Lima_Oliveira.pdf.txtWendel_Lima_Oliveira.pdf.txtExtracted texttext/plain76595https://ri.ufs.br/jspui/bitstream/riufs/17783/3/Wendel_Lima_Oliveira.pdf.txtb267ce2cdb291c76d0c99bf7cb511dc2MD53THUMBNAILWendel_Lima_Oliveira.pdf.jpgWendel_Lima_Oliveira.pdf.jpgGenerated Thumbnailimage/jpeg1345https://ri.ufs.br/jspui/bitstream/riufs/17783/4/Wendel_Lima_Oliveira.pdf.jpg959e5a15727c625b50bd9a8ba87465bbMD54riufs/177832023-07-06 09:04:12.291oai:ufs.br:riufs/17783TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvcihlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyIHNldSB0cmFiYWxobyBubyBmb3JtYXRvIGVsZXRyw7RuaWNvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFNlcmdpcGUgcG9kZSwgc2VtIGFsdGVyYXIgbyBjb250ZcO6ZG8sIHRyYW5zcG9yIHNldSB0cmFiYWxobyBwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZGUgc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0bywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgbsOjbyBpbmZyaW5nZSBkaXJlaXRvcyBhdXRvcmFpcyBkZSBuaW5ndcOpbS4KCkNhc28gbyB0cmFiYWxobyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvLgoKQSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUocykgb3UgbyhzKSBub21lKHMpIGRvKHMpIApkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHRyYWJhbGhvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIGNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuIAo=Repositório InstitucionalPUBhttps://ri.ufs.br/oai/requestrepositorio@academico.ufs.bropendoar:2023-07-06T12:04:12Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)false
dc.title.pt_BR.fl_str_mv Uso de web scraping para mineração de produtos e preços em e-commerce
title Uso de web scraping para mineração de produtos e preços em e-commerce
spellingShingle Uso de web scraping para mineração de produtos e preços em e-commerce
Oliveira, Wendel Lima
Engenharia da computação
Ensino superior
Computação
Web scraping
Mineração de produtos
E-commerce
Comércio eletrônico
Engenharia de software
Crowdsourcing
Crawler
Natural language processing
ENGENHARIAS
title_short Uso de web scraping para mineração de produtos e preços em e-commerce
title_full Uso de web scraping para mineração de produtos e preços em e-commerce
title_fullStr Uso de web scraping para mineração de produtos e preços em e-commerce
title_full_unstemmed Uso de web scraping para mineração de produtos e preços em e-commerce
title_sort Uso de web scraping para mineração de produtos e preços em e-commerce
author Oliveira, Wendel Lima
author_facet Oliveira, Wendel Lima
author_role author
dc.contributor.author.fl_str_mv Oliveira, Wendel Lima
dc.contributor.advisor1.fl_str_mv Matos, Leonardo Nogueira
dc.contributor.advisor-co1.fl_str_mv Bispo, Thiago Dias
contributor_str_mv Matos, Leonardo Nogueira
Bispo, Thiago Dias
dc.subject.por.fl_str_mv Engenharia da computação
Ensino superior
Computação
Web scraping
Mineração de produtos
E-commerce
Comércio eletrônico
Engenharia de software
topic Engenharia da computação
Ensino superior
Computação
Web scraping
Mineração de produtos
E-commerce
Comércio eletrônico
Engenharia de software
Crowdsourcing
Crawler
Natural language processing
ENGENHARIAS
dc.subject.eng.fl_str_mv Crowdsourcing
Crawler
Natural language processing
dc.subject.cnpq.fl_str_mv ENGENHARIAS
description The`development`of`information`and`communication`technologies`has`led`to`the`emergence`of`collaborative`systems,`such`as`crowdsourcing,`which`allows`the`mutual`sharing`of`data,`as`diverse`as`possible,`generated`by`smartphones`of`a`community`of`users.`One`of`these`most`popular`systems`is`Waze`which`allows`you`to`identify`congestion-free`transit`routes`using`geolocation`information`from`mobile`devices.`LudiiPrice`is`a`crowdsourcing`application`that`is`being`developed`at`UFS`under`the`coordination`of`the`supervisors`of`this`monograph`and`consists`of`a`price`fnder`for`personal`consumables`and`groceries`obtained`by`QR`code`photographed`by`smartphones.`Invoice`data`is`stored`in`a`database`that`is`used`to`respond`to`user`queries.`The`objective`of`this`work`is`to`automatically`populate`this`database`using`a`web`crawler`to`extract`price`data`from`products`published`in`e-commerce`portals.`The`data`obtained`is`processed`using`Natural`Language`Processing`techniques`and`aims`to`suggest`each`item`entered`through`the`invoice.`The`crawler`and`the`suggestions`are`requested`through`an`API,`which`was`built`using`the`Django`framework`that`uses`Python`as`its`language.`As`a`result`of`the`work,`crawlers`are`performed`in`three`e-commerce`that`populate`a`base`and`suggest`items`extracted`from`crawler`for`each`product`present`in`the`invoice`inserted`in`the`LudiiPrice`application.
publishDate 2023
dc.date.accessioned.fl_str_mv 2023-07-06T12:04:07Z
dc.date.available.fl_str_mv 2023-07-06T12:04:07Z
dc.date.issued.fl_str_mv 2023
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv Oliveira, Wendel Carvalho. Uso de web scraping para mineração de produtos e preços em e-commerce. São Cristóvão: 2022. - Monografia (graduação em Engenharia de Computação) - Departamento de Computação, Centro de Ciências Exatas e Tecnologia, Universidade Federal de Sergipe, São Cristóvão, SE, 2023
dc.identifier.uri.fl_str_mv https://ri.ufs.br/jspui/handle/riufs/17783
identifier_str_mv Oliveira, Wendel Carvalho. Uso de web scraping para mineração de produtos e preços em e-commerce. São Cristóvão: 2022. - Monografia (graduação em Engenharia de Computação) - Departamento de Computação, Centro de Ciências Exatas e Tecnologia, Universidade Federal de Sergipe, São Cristóvão, SE, 2023
url https://ri.ufs.br/jspui/handle/riufs/17783
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.initials.fl_str_mv Universidade Federal de Sergipe (UFS)
dc.publisher.department.fl_str_mv DCOMP - Departamento de Computação – Engenharia de Computação – São Cristóvão - Presencial
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFS
instname:Universidade Federal de Sergipe (UFS)
instacron:UFS
instname_str Universidade Federal de Sergipe (UFS)
instacron_str UFS
institution UFS
reponame_str Repositório Institucional da UFS
collection Repositório Institucional da UFS
bitstream.url.fl_str_mv https://ri.ufs.br/jspui/bitstream/riufs/17783/1/license.txt
https://ri.ufs.br/jspui/bitstream/riufs/17783/2/Wendel_Lima_Oliveira.pdf
https://ri.ufs.br/jspui/bitstream/riufs/17783/3/Wendel_Lima_Oliveira.pdf.txt
https://ri.ufs.br/jspui/bitstream/riufs/17783/4/Wendel_Lima_Oliveira.pdf.jpg
bitstream.checksum.fl_str_mv 098cbbf65c2c15e1fb2e49c5d306a44c
b31f73b8064473d2567bfac5b68858e1
b267ce2cdb291c76d0c99bf7cb511dc2
959e5a15727c625b50bd9a8ba87465bb
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)
repository.mail.fl_str_mv repositorio@academico.ufs.br
_version_ 1802110699726438400