Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Monografias da UnB |
Texto Completo: | http://bdm.unb.br/handle/10483/21060 |
Resumo: | Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018. |
id |
UNB-2_a85567caa1adb7f0de4ff65f8031a35d |
---|---|
oai_identifier_str |
oai:bdm.unb.br:10483/21060 |
network_acronym_str |
UNB-2 |
network_name_str |
Biblioteca Digital de Monografias da UnB |
repository_id_str |
11571 |
spelling |
Silva, Hugo Luís AndradeLamar, Marcus ViniciusSILVA, Hugo Luís Andrade. Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning. 2018. 119 f., il. Trabalho de Conclusão de Curso (Bacharelado em Engenharia da Computação)—Universidade de Brasília, Brasília, 2018.http://bdm.unb.br/handle/10483/21060Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018.Aplicações de Machine Learning da maneira como são feitas hoje comumente requerem coleta de dados manual, que pode demorar para ser feita e, por isso, limita aplicações que requerem conjuntos de dados grandes. O trabalho trata do projeto de uma aplicação web onde o usuário terá as possibilidades de criar, armazenar e carregar detectores de objetos e datasets de maneira automática, removendo a necessidade de coletar manualmente as imagens. A criação é feita dinamicamente, de forma que os datasets utilizados no treinamento serão criados de maneira on demand fazendo uso de web crawling, tirando assim a restrição de se utilizar datasets prontos, que nem sempre são encontrados para aplicações específicas. Em seguida, são realizados testes relativos aos subsistemas de Inteligência Artificial envolvidos em cada etapa do projeto descrito e a viabilidade da criação de uma aplicação desse tipo é analisada, tendo em vista os resultados dos experimentos supracitados. O projeto consiste em dois passos principais: remoção de imagens ruidosas e treinamento de classificadores com as restantes. Os métodos propostos atingiram 94.4% no primeiro passo e 98.98% no segundo usando imagens obtidas usando classes do CIFAR-10 como queries.Submitted by Luanna Maia (luanna@bce.unb.br) on 2018-11-20T13:39:57Z No. of bitstreams: 3 license_text: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) 2018_HugoLuisAndradeSilva_tcc.pdf: 80273671 bytes, checksum: 95eddfddd7cc43f38eaaa2bdc777f127 (MD5)Approved for entry into archive by Luanna Maia (luanna@bce.unb.br) on 2018-11-20T13:40:12Z (GMT) No. of bitstreams: 3 license_text: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) 2018_HugoLuisAndradeSilva_tcc.pdf: 80273671 bytes, checksum: 95eddfddd7cc43f38eaaa2bdc777f127 (MD5)Made available in DSpace on 2018-11-20T13:40:12Z (GMT). No. of bitstreams: 3 license_text: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) 2018_HugoLuisAndradeSilva_tcc.pdf: 80273671 bytes, checksum: 95eddfddd7cc43f38eaaa2bdc777f127 (MD5)Current Machine Learning applications usually require manual data collection, which take long to complete and thus may limit applications which require large datasets. This project designs a web application where the user will have the possibilities of creating, storing and loading object detectors and datasets automatically, removing the need to manually collect images. Creation is done dinamically, and the datasets used are created on demand using web crawling, removing the restriction of having to utilize already existing datasets, which may not exist for speciffic applications. Next, Artificial Intelligence subsystems present on each step of the described project are tested and the viability of creating such a web application is analyzed in light of the results of the above mentioned experiments. The project is consists of two main steps: removing noisy images and training classifiers with the rest. The proposed methods achieved 94.4% on the first step and 98.98% on the second one on images downloaded using CIFAR-10 classes as queries.Aprendizado do computadorVisão por computadorReconhecimento de padrõesCriação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learninginfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis2018-11-20T13:40:12Z2018-11-20T13:40:12Z2018-08-08info:eu-repo/semantics/openAccessporreponame:Biblioteca Digital de Monografias da UnBinstname:Universidade de Brasília (UnB)instacron:UNBLICENSElicense.txtlicense.txttext/plain1817http://bdm.unb.br/xmlui/bitstream/10483/21060/5/license.txt21554873e56ad8ddc69c092699b98f95MD55CC-LICENSElicense_urllicense_urltext/plain49http://bdm.unb.br/xmlui/bitstream/10483/21060/2/license_url4afdbb8c545fd630ea7db775da747b2fMD52license_textlicense_textapplication/octet-stream0http://bdm.unb.br/xmlui/bitstream/10483/21060/3/license_textd41d8cd98f00b204e9800998ecf8427eMD53license_rdflicense_rdfapplication/octet-stream0http://bdm.unb.br/xmlui/bitstream/10483/21060/4/license_rdfd41d8cd98f00b204e9800998ecf8427eMD54ORIGINAL2018_HugoLuisAndradeSilva_tcc.pdf2018_HugoLuisAndradeSilva_tcc.pdfapplication/pdf80273671http://bdm.unb.br/xmlui/bitstream/10483/21060/1/2018_HugoLuisAndradeSilva_tcc.pdf95eddfddd7cc43f38eaaa2bdc777f127MD5110483/210602018-11-20 11:40:12.535oai:bdm.unb.br:10483/21060w4kgbmVjZXNzw6FyaW8gY29uY29yZGFyIGNvbSBhIGxpY2Vuw6dhIGRlIGRpc3RyaWJ1acOnw6NvIG7Do28tZXhjbHVzaXZhLAphbnRlcyBxdWUgbyBkb2N1bWVudG8gcG9zc2EgYXBhcmVjZXIgbmEgQmlibGlvdGVjYSBEaWdpdGFsIGRhIFByb2R1w6fDo28gCkRpc2NlbnRlIGRhIFVuaXZlcnNpZGFkZSBkZSBCcmFzw61saWEuIFBvciBmYXZvciwgbGVpYSBhCmxpY2Vuw6dhIGF0ZW50YW1lbnRlLiBDYXNvIG5lY2Vzc2l0ZSBkZSBhbGd1bSBlc2NsYXJlY2ltZW50byBlbnRyZSBlbQpjb250YXRvIGF0cmF2w6lzIGRlOiBiZG1AYmNlLnVuYi5iciBvdSAzMTA3LTI2ODcuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQW8gYXNzaW5hciBlIGVudHJlZ2FyIGVzdGEgbGljZW7Dp2EsIG8vYSBTci4vU3JhLiAoYXV0b3Igb3UgZGV0ZW50b3IgZG9zCmRpcmVpdG9zIGRlIGF1dG9yKToKCmEpIENvbmNlZGUgw6AgVW5pdmVyc2lkYWRlIGRlIEJyYXPDrWxpYSBvIGRpcmVpdG8gbsOjby1leGNsdXNpdm8gZGUKcmVwcm9kdXppciwgY29udmVydGVyIChjb21vIGRlZmluaWRvIGFiYWl4byksIGNvbXVuaWNhciBlL291CmRpc3RyaWJ1aXIgbyBkb2N1bWVudG8gZW50cmVndWUgKGluY2x1aW5kbyBvIHJlc3Vtby9hYnN0cmFjdCkgZW0KZm9ybWF0byBkaWdpdGFsIG91IGltcHJlc3NvIGUgZW0gcXVhbHF1ZXIgbWVpby4KCmIpIERlY2xhcmEgcXVlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIHNldSB0cmFiYWxobyBvcmlnaW5hbCwgZSBxdWUKZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYQp0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2UsIHRhbnRvIHF1YW50byBsaGUgw6kKcG9zc8OtdmVsIHNhYmVyLCBvcyBkaXJlaXRvcyBkZSBxdWFscXVlciBvdXRyYSBwZXNzb2Egb3UgZW50aWRhZGUuCgpjKSBTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSBjb250w6ltIG1hdGVyaWFsIGRvIHF1YWwgbsOjbyBkZXTDqW0gb3MKZGlyZWl0b3MgZGUgYXV0b3IsIGRlY2xhcmEgcXVlIG9idGV2ZSBhdXRvcml6YcOnw6NvIGRvIGRldGVudG9yIGRvcwpkaXJlaXRvcyBkZSBhdXRvciBwYXJhIGNvbmNlZGVyIMOgIFVuaXZlcnNpZGFkZSBkZSBCcmFzw61saWEgb3MgZGlyZWl0b3MKcmVxdWVyaWRvcyBwb3IgZXN0YSBsaWNlbsOnYSwgZSBxdWUgZXNzZSBtYXRlcmlhbCBjdWpvcyBkaXJlaXRvcyBzw6NvIGRlCnRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyBlIHJlY29uaGVjaWRvIG5vIHRleHRvIG91CmNvbnRlw7pkbyBkbyBkb2N1bWVudG8gZW50cmVndWUuCgpTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBiYXNlYWRvIGVtIHRyYWJhbGhvIGZpbmFuY2lhZG8gb3UgYXBvaWFkbwpwb3Igb3V0cmEgaW5zdGl0dWnDp8OjbyBxdWUgbsOjbyBhIFVuaXZlcnNpZGFkZSBkZSBCcmFzw61saWEsIGRlY2xhcmEgcXVlCmN1bXByaXUgcXVhaXNxdWVyIG9icmlnYcOnw7VlcyBleGlnaWRhcyBwZWxvIHJlc3BlY3Rpdm8gY29udHJhdG8gb3UKYWNvcmRvLgoKQSBVbml2ZXJzaWRhZGUgZGUgQnJhc8OtbGlhIGlkZW50aWZpY2Fyw6EgY2xhcmFtZW50ZSBvKHMpIHNldSAocykgbm9tZSAocykKY29tbyBvIChzKSBhdXRvciAoZXMpIG91IGRldGVudG9yIChlcykgZG9zIGRpcmVpdG9zIGRvIGRvY3VtZW50bwplbnRyZWd1ZSwgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRhcyBwZXJtaXRpZGFzIHBvcgplc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Monografiahttps://bdm.unb.br/PUBhttp://bdm.unb.br/oai/requestbdm@bce.unb.br||patricia@bce.unb.bropendoar:115712018-11-20T13:40:12Biblioteca Digital de Monografias da UnB - Universidade de Brasília (UnB)false |
dc.title.pt_BR.fl_str_mv |
Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning |
title |
Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning |
spellingShingle |
Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning Silva, Hugo Luís Andrade Aprendizado do computador Visão por computador Reconhecimento de padrões |
title_short |
Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning |
title_full |
Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning |
title_fullStr |
Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning |
title_full_unstemmed |
Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning |
title_sort |
Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning |
author |
Silva, Hugo Luís Andrade |
author_facet |
Silva, Hugo Luís Andrade |
author_role |
author |
dc.contributor.author.fl_str_mv |
Silva, Hugo Luís Andrade |
dc.contributor.advisor1.fl_str_mv |
Lamar, Marcus Vinicius |
contributor_str_mv |
Lamar, Marcus Vinicius |
dc.subject.keyword.pt_BR.fl_str_mv |
Aprendizado do computador Visão por computador Reconhecimento de padrões |
topic |
Aprendizado do computador Visão por computador Reconhecimento de padrões |
description |
Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018. |
publishDate |
2018 |
dc.date.submitted.none.fl_str_mv |
2018-08-08 |
dc.date.accessioned.fl_str_mv |
2018-11-20T13:40:12Z |
dc.date.available.fl_str_mv |
2018-11-20T13:40:12Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
SILVA, Hugo Luís Andrade. Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning. 2018. 119 f., il. Trabalho de Conclusão de Curso (Bacharelado em Engenharia da Computação)—Universidade de Brasília, Brasília, 2018. |
dc.identifier.uri.fl_str_mv |
http://bdm.unb.br/handle/10483/21060 |
identifier_str_mv |
SILVA, Hugo Luís Andrade. Criação automática de datasets e treinamento de classificadores sob demanda a partir de web crawling e deep learning. 2018. 119 f., il. Trabalho de Conclusão de Curso (Bacharelado em Engenharia da Computação)—Universidade de Brasília, Brasília, 2018. |
url |
http://bdm.unb.br/handle/10483/21060 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Monografias da UnB instname:Universidade de Brasília (UnB) instacron:UNB |
instname_str |
Universidade de Brasília (UnB) |
instacron_str |
UNB |
institution |
UNB |
reponame_str |
Biblioteca Digital de Monografias da UnB |
collection |
Biblioteca Digital de Monografias da UnB |
bitstream.url.fl_str_mv |
http://bdm.unb.br/xmlui/bitstream/10483/21060/5/license.txt http://bdm.unb.br/xmlui/bitstream/10483/21060/2/license_url http://bdm.unb.br/xmlui/bitstream/10483/21060/3/license_text http://bdm.unb.br/xmlui/bitstream/10483/21060/4/license_rdf http://bdm.unb.br/xmlui/bitstream/10483/21060/1/2018_HugoLuisAndradeSilva_tcc.pdf |
bitstream.checksum.fl_str_mv |
21554873e56ad8ddc69c092699b98f95 4afdbb8c545fd630ea7db775da747b2f d41d8cd98f00b204e9800998ecf8427e d41d8cd98f00b204e9800998ecf8427e 95eddfddd7cc43f38eaaa2bdc777f127 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Monografias da UnB - Universidade de Brasília (UnB) |
repository.mail.fl_str_mv |
bdm@bce.unb.br||patricia@bce.unb.br |
_version_ |
1801493072485285888 |