Uso de web scraping para mineração de produtos e preços em e-commerce
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFS |
Texto Completo: | https://ri.ufs.br/jspui/handle/riufs/17783 |
Resumo: | The`development`of`information`and`communication`technologies`has`led`to`the`emergence`of`collaborative`systems,`such`as`crowdsourcing,`which`allows`the`mutual`sharing`of`data,`as`diverse`as`possible,`generated`by`smartphones`of`a`community`of`users.`One`of`these`most`popular`systems`is`Waze`which`allows`you`to`identify`congestion-free`transit`routes`using`geolocation`information`from`mobile`devices.`LudiiPrice`is`a`crowdsourcing`application`that`is`being`developed`at`UFS`under`the`coordination`of`the`supervisors`of`this`monograph`and`consists`of`a`price`fnder`for`personal`consumables`and`groceries`obtained`by`QR`code`photographed`by`smartphones.`Invoice`data`is`stored`in`a`database`that`is`used`to`respond`to`user`queries.`The`objective`of`this`work`is`to`automatically`populate`this`database`using`a`web`crawler`to`extract`price`data`from`products`published`in`e-commerce`portals.`The`data`obtained`is`processed`using`Natural`Language`Processing`techniques`and`aims`to`suggest`each`item`entered`through`the`invoice.`The`crawler`and`the`suggestions`are`requested`through`an`API,`which`was`built`using`the`Django`framework`that`uses`Python`as`its`language.`As`a`result`of`the`work,`crawlers`are`performed`in`three`e-commerce`that`populate`a`base`and`suggest`items`extracted`from`crawler`for`each`product`present`in`the`invoice`inserted`in`the`LudiiPrice`application. |
id |
UFS-2_ed52c300f7c1b9720da7243bf89bf3c2 |
---|---|
oai_identifier_str |
oai:ufs.br:riufs/17783 |
network_acronym_str |
UFS-2 |
network_name_str |
Repositório Institucional da UFS |
repository_id_str |
|
spelling |
Oliveira, Wendel LimaMatos, Leonardo NogueiraBispo, Thiago Dias2023-07-06T12:04:07Z2023-07-06T12:04:07Z2023Oliveira, Wendel Carvalho. Uso de web scraping para mineração de produtos e preços em e-commerce. São Cristóvão: 2022. - Monografia (graduação em Engenharia de Computação) - Departamento de Computação, Centro de Ciências Exatas e Tecnologia, Universidade Federal de Sergipe, São Cristóvão, SE, 2023https://ri.ufs.br/jspui/handle/riufs/17783The`development`of`information`and`communication`technologies`has`led`to`the`emergence`of`collaborative`systems,`such`as`crowdsourcing,`which`allows`the`mutual`sharing`of`data,`as`diverse`as`possible,`generated`by`smartphones`of`a`community`of`users.`One`of`these`most`popular`systems`is`Waze`which`allows`you`to`identify`congestion-free`transit`routes`using`geolocation`information`from`mobile`devices.`LudiiPrice`is`a`crowdsourcing`application`that`is`being`developed`at`UFS`under`the`coordination`of`the`supervisors`of`this`monograph`and`consists`of`a`price`fnder`for`personal`consumables`and`groceries`obtained`by`QR`code`photographed`by`smartphones.`Invoice`data`is`stored`in`a`database`that`is`used`to`respond`to`user`queries.`The`objective`of`this`work`is`to`automatically`populate`this`database`using`a`web`crawler`to`extract`price`data`from`products`published`in`e-commerce`portals.`The`data`obtained`is`processed`using`Natural`Language`Processing`techniques`and`aims`to`suggest`each`item`entered`through`the`invoice.`The`crawler`and`the`suggestions`are`requested`through`an`API,`which`was`built`using`the`Django`framework`that`uses`Python`as`its`language.`As`a`result`of`the`work,`crawlers`are`performed`in`three`e-commerce`that`populate`a`base`and`suggest`items`extracted`from`crawler`for`each`product`present`in`the`invoice`inserted`in`the`LudiiPrice`application.O`desenvolvimento`das`tecnologias`de`informação`e`comunicação`propiciou`o`aparecimento`de`sistemas`colaborativos,`como`crowdsourcing,`que`permite`o`compartilhamento`mútuo`de`dados,`os`mais`diversos`possíveis,`gerados`por`smartphones`de`uma`comunidade`de`usuários.`Um`destes`sistemas`mais`populares`é`o`Waze`que`permite`identifcar`rotas`de`trânsito`livres`de`congestionamento`usando`informações`de`geolocalização`de`aparelhos`celulares.`O`LudiiPrice`é`um`aplicativo`crowdsourcing`em`desenvolvimento`na`UFS,`sob`coordenação`dos`orientadores`desta`monografa,`que`consiste`em`um`buscador`de`preços`de`produtos`de`itens`de`consumo`pessoal`e`gênero`alimentício`minerados`a`partir`de`notas`fscais`eletrônicas`obtidas`pelo`código`QR`fotografado`por`smartphones.`Os`dados`das`notas`fscais`são`armazenados`em`uma`base`de`dados,`usada`para`responder`às`consultas`realizadas`pelos`usuários.`O`objetivo`deste`trabalho`é`realizar`o`povoamento`automático`desta`base`de`dados`usando`um`web`crawler`para`extrair`dados`de`preços`de`itens`publicados`em`portais`de`e-commerce.`Os`dados`minerados`são`processados`usando`técnicas`de`Processamento`de`Linguagem`Natural`e`tem`como`objetivo`a`sugestão`para`cada`item`inserido`através`da`nota`fscal.`O`crawler`e`as`sugestões`são`requisitados`através`de`uma`API,`que`foi`construída`utilizando`o`framework`Django`que`utiliza`Python`como`linguagem.`Como`resultado`do`trabalho`os`crawlers`são`realizados`em`três`e-commerce`que`populam`uma`base`e`sugere`itens`extraídos`do`crawler`para`cada`produto`presente`na`nota`fscal`inserida`no`aplicativo`LudiiPriceSão Cristóvão, SEporEngenharia da computaçãoEnsino superiorComputaçãoWeb scrapingMineração de produtosE-commerceComércio eletrônicoEngenharia de softwareCrowdsourcingCrawlerNatural language processingENGENHARIASUso de web scraping para mineração de produtos e preços em e-commerceinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisUniversidade Federal de Sergipe (UFS)DCOMP - Departamento de Computação – Engenharia de Computação – São Cristóvão - Presencialreponame:Repositório Institucional da UFSinstname:Universidade Federal de Sergipe (UFS)instacron:UFSinfo:eu-repo/semantics/openAccessLICENSElicense.txtlicense.txttext/plain; charset=utf-81475https://ri.ufs.br/jspui/bitstream/riufs/17783/1/license.txt098cbbf65c2c15e1fb2e49c5d306a44cMD51ORIGINALWendel_Lima_Oliveira.pdfWendel_Lima_Oliveira.pdfapplication/pdf1947384https://ri.ufs.br/jspui/bitstream/riufs/17783/2/Wendel_Lima_Oliveira.pdfb31f73b8064473d2567bfac5b68858e1MD52TEXTWendel_Lima_Oliveira.pdf.txtWendel_Lima_Oliveira.pdf.txtExtracted texttext/plain76595https://ri.ufs.br/jspui/bitstream/riufs/17783/3/Wendel_Lima_Oliveira.pdf.txtb267ce2cdb291c76d0c99bf7cb511dc2MD53THUMBNAILWendel_Lima_Oliveira.pdf.jpgWendel_Lima_Oliveira.pdf.jpgGenerated Thumbnailimage/jpeg1345https://ri.ufs.br/jspui/bitstream/riufs/17783/4/Wendel_Lima_Oliveira.pdf.jpg959e5a15727c625b50bd9a8ba87465bbMD54riufs/177832023-07-06 09:04:12.291oai:ufs.br:riufs/17783TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvcihlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyIHNldSB0cmFiYWxobyBubyBmb3JtYXRvIGVsZXRyw7RuaWNvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFNlcmdpcGUgcG9kZSwgc2VtIGFsdGVyYXIgbyBjb250ZcO6ZG8sIHRyYW5zcG9yIHNldSB0cmFiYWxobyBwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgZGUgc2V1IHRyYWJhbGhvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIHNldSB0cmFiYWxobyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0bywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgbsOjbyBpbmZyaW5nZSBkaXJlaXRvcyBhdXRvcmFpcyBkZSBuaW5ndcOpbS4KCkNhc28gbyB0cmFiYWxobyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgU2VyZ2lwZSBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvLgoKQSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBTZXJnaXBlIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUocykgb3UgbyhzKSBub21lKHMpIGRvKHMpIApkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRvIHRyYWJhbGhvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIGNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuIAo=Repositório InstitucionalPUBhttps://ri.ufs.br/oai/requestrepositorio@academico.ufs.bropendoar:2023-07-06T12:04:12Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS)false |
dc.title.pt_BR.fl_str_mv |
Uso de web scraping para mineração de produtos e preços em e-commerce |
title |
Uso de web scraping para mineração de produtos e preços em e-commerce |
spellingShingle |
Uso de web scraping para mineração de produtos e preços em e-commerce Oliveira, Wendel Lima Engenharia da computação Ensino superior Computação Web scraping Mineração de produtos E-commerce Comércio eletrônico Engenharia de software Crowdsourcing Crawler Natural language processing ENGENHARIAS |
title_short |
Uso de web scraping para mineração de produtos e preços em e-commerce |
title_full |
Uso de web scraping para mineração de produtos e preços em e-commerce |
title_fullStr |
Uso de web scraping para mineração de produtos e preços em e-commerce |
title_full_unstemmed |
Uso de web scraping para mineração de produtos e preços em e-commerce |
title_sort |
Uso de web scraping para mineração de produtos e preços em e-commerce |
author |
Oliveira, Wendel Lima |
author_facet |
Oliveira, Wendel Lima |
author_role |
author |
dc.contributor.author.fl_str_mv |
Oliveira, Wendel Lima |
dc.contributor.advisor1.fl_str_mv |
Matos, Leonardo Nogueira |
dc.contributor.advisor-co1.fl_str_mv |
Bispo, Thiago Dias |
contributor_str_mv |
Matos, Leonardo Nogueira Bispo, Thiago Dias |
dc.subject.por.fl_str_mv |
Engenharia da computação Ensino superior Computação Web scraping Mineração de produtos E-commerce Comércio eletrônico Engenharia de software |
topic |
Engenharia da computação Ensino superior Computação Web scraping Mineração de produtos E-commerce Comércio eletrônico Engenharia de software Crowdsourcing Crawler Natural language processing ENGENHARIAS |
dc.subject.eng.fl_str_mv |
Crowdsourcing Crawler Natural language processing |
dc.subject.cnpq.fl_str_mv |
ENGENHARIAS |
description |
The`development`of`information`and`communication`technologies`has`led`to`the`emergence`of`collaborative`systems,`such`as`crowdsourcing,`which`allows`the`mutual`sharing`of`data,`as`diverse`as`possible,`generated`by`smartphones`of`a`community`of`users.`One`of`these`most`popular`systems`is`Waze`which`allows`you`to`identify`congestion-free`transit`routes`using`geolocation`information`from`mobile`devices.`LudiiPrice`is`a`crowdsourcing`application`that`is`being`developed`at`UFS`under`the`coordination`of`the`supervisors`of`this`monograph`and`consists`of`a`price`fnder`for`personal`consumables`and`groceries`obtained`by`QR`code`photographed`by`smartphones.`Invoice`data`is`stored`in`a`database`that`is`used`to`respond`to`user`queries.`The`objective`of`this`work`is`to`automatically`populate`this`database`using`a`web`crawler`to`extract`price`data`from`products`published`in`e-commerce`portals.`The`data`obtained`is`processed`using`Natural`Language`Processing`techniques`and`aims`to`suggest`each`item`entered`through`the`invoice.`The`crawler`and`the`suggestions`are`requested`through`an`API,`which`was`built`using`the`Django`framework`that`uses`Python`as`its`language.`As`a`result`of`the`work,`crawlers`are`performed`in`three`e-commerce`that`populate`a`base`and`suggest`items`extracted`from`crawler`for`each`product`present`in`the`invoice`inserted`in`the`LudiiPrice`application. |
publishDate |
2023 |
dc.date.accessioned.fl_str_mv |
2023-07-06T12:04:07Z |
dc.date.available.fl_str_mv |
2023-07-06T12:04:07Z |
dc.date.issued.fl_str_mv |
2023 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
Oliveira, Wendel Carvalho. Uso de web scraping para mineração de produtos e preços em e-commerce. São Cristóvão: 2022. - Monografia (graduação em Engenharia de Computação) - Departamento de Computação, Centro de Ciências Exatas e Tecnologia, Universidade Federal de Sergipe, São Cristóvão, SE, 2023 |
dc.identifier.uri.fl_str_mv |
https://ri.ufs.br/jspui/handle/riufs/17783 |
identifier_str_mv |
Oliveira, Wendel Carvalho. Uso de web scraping para mineração de produtos e preços em e-commerce. São Cristóvão: 2022. - Monografia (graduação em Engenharia de Computação) - Departamento de Computação, Centro de Ciências Exatas e Tecnologia, Universidade Federal de Sergipe, São Cristóvão, SE, 2023 |
url |
https://ri.ufs.br/jspui/handle/riufs/17783 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.initials.fl_str_mv |
Universidade Federal de Sergipe (UFS) |
dc.publisher.department.fl_str_mv |
DCOMP - Departamento de Computação – Engenharia de Computação – São Cristóvão - Presencial |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFS instname:Universidade Federal de Sergipe (UFS) instacron:UFS |
instname_str |
Universidade Federal de Sergipe (UFS) |
instacron_str |
UFS |
institution |
UFS |
reponame_str |
Repositório Institucional da UFS |
collection |
Repositório Institucional da UFS |
bitstream.url.fl_str_mv |
https://ri.ufs.br/jspui/bitstream/riufs/17783/1/license.txt https://ri.ufs.br/jspui/bitstream/riufs/17783/2/Wendel_Lima_Oliveira.pdf https://ri.ufs.br/jspui/bitstream/riufs/17783/3/Wendel_Lima_Oliveira.pdf.txt https://ri.ufs.br/jspui/bitstream/riufs/17783/4/Wendel_Lima_Oliveira.pdf.jpg |
bitstream.checksum.fl_str_mv |
098cbbf65c2c15e1fb2e49c5d306a44c b31f73b8064473d2567bfac5b68858e1 b267ce2cdb291c76d0c99bf7cb511dc2 959e5a15727c625b50bd9a8ba87465bb |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFS - Universidade Federal de Sergipe (UFS) |
repository.mail.fl_str_mv |
repositorio@academico.ufs.br |
_version_ |
1802110699726438400 |