Strategies and techniques for deep learning on small data
Autor(a) principal: | |
---|---|
Data de Publicação: | 2020 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações do LNCC |
Texto Completo: | https://tede.lncc.br/handle/tede/320 |
Resumo: | A construção de modelos permite a interpretação de problemas complexos. Na Ciência da Computação, tais modelos levam à concepção de algoritmos e sua implementação em sistemas computacionais, contribuindo para a solução do problema. No entanto, alguns problemas são muito complexos para serem descritos usando uma abordagem algorítmica. A introdução de métodos de aprendizado de máquina visa criar modelos baseados diretamente nos dados coletados que representam o fenômeno observado. Embora essa abordagem tenha levado a grandes avanços em muitos campos diferentes, os métodos orientados por dados geralmente requerem uma quantidade substancial de dados para compreensão do problema modelado. Neste trabalho, investigamos o problema de poucos dados para métodos de aprendizado profundo. Apresentamos estratégias para minimizar a incerteza na previsão, minimizando a variação intraclasse em tarefas de classificação, restringindo o espaço de solução com base em conhecimento prévio sobre o domínio. Além disso, discutimos os cenários de few shot learning e zero shot learning, onde objetivamos treinar classificadores robustos por meio de uma função de kernel fixa, a fim de criar um modelo que generalize para classes nas quais não foi treinado. Apresentamos experimentos para cada um destes e avaliamos suas propriedades em datasets distintos. |
id |
LNCC_67b2bff46ce5236126aff816f8bfe161 |
---|---|
oai_identifier_str |
oai:tede-server.lncc.br:tede/320 |
network_acronym_str |
LNCC |
network_name_str |
Biblioteca Digital de Teses e Dissertações do LNCC |
repository_id_str |
|
spelling |
Porto, Fábio André MachadoPorto, Fábio André MachadoZiviani, ArturJoly, AlexisSilva, Eduardo Bezerra daGomes, Antônio Tadeu Azevedohttp://lattes.cnpq.br/197141481132130Pereira, Rafael Silva2023-03-08T17:10:09Z2020-09-11PEREIRA, R. S. Strategies and techniques for deep learning on small data. 2020. 150 f. Dissertação (Programa de Pós-Graduação em Modelagem Computacional) - Laboratório Nacional de Computação Científica, Petrópolis, 2020.https://tede.lncc.br/handle/tede/320A construção de modelos permite a interpretação de problemas complexos. Na Ciência da Computação, tais modelos levam à concepção de algoritmos e sua implementação em sistemas computacionais, contribuindo para a solução do problema. No entanto, alguns problemas são muito complexos para serem descritos usando uma abordagem algorítmica. A introdução de métodos de aprendizado de máquina visa criar modelos baseados diretamente nos dados coletados que representam o fenômeno observado. Embora essa abordagem tenha levado a grandes avanços em muitos campos diferentes, os métodos orientados por dados geralmente requerem uma quantidade substancial de dados para compreensão do problema modelado. Neste trabalho, investigamos o problema de poucos dados para métodos de aprendizado profundo. Apresentamos estratégias para minimizar a incerteza na previsão, minimizando a variação intraclasse em tarefas de classificação, restringindo o espaço de solução com base em conhecimento prévio sobre o domínio. Além disso, discutimos os cenários de few shot learning e zero shot learning, onde objetivamos treinar classificadores robustos por meio de uma função de kernel fixa, a fim de criar um modelo que generalize para classes nas quais não foi treinado. Apresentamos experimentos para cada um destes e avaliamos suas propriedades em datasets distintos.The design of models enables the interpretation of complex problems. In computer Science, such models lead to the conception of algorithms and their implementation in computer systems, contributing to the problem solution. However, some problems are too complex to be described using an algorithmic approach. The introduction of machine learning methods aims to create models based directly on the collected data representing the observed phenomenon. While this approach led to great advances in many different fields, data driven methods often require a substantial amount of data in order to generalize its understanding of the modelled problem. In this work, we investigate the problem of small data for deep learning methods. We present strategies to minimize uncertainty on prediction by minimizing intra-class variation in classification tasks, constraining the solution space based on prior knowledge on the domain. Additionally, we discuss the few shot and zero shot scenarios, where we aim at training robust classifiers trough a fixed kernel function in order to create a model that generalizes for classes it was not trained upon. We present experiments for each of these and evaluate their properties on distinct datasets.Submitted by Patrícia Vieira Silva (library@lncc.br) on 2023-03-08T17:09:44Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_RafaelSilvaPereira2020.pdf: 3094952 bytes, checksum: f4865b62f06ffd1c475bd3c9d33ba201 (MD5)Approved for entry into archive by Patrícia Vieira Silva (library@lncc.br) on 2023-03-08T17:09:56Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_RafaelSilvaPereira2020.pdf: 3094952 bytes, checksum: f4865b62f06ffd1c475bd3c9d33ba201 (MD5)Made available in DSpace on 2023-03-08T17:10:09Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_RafaelSilvaPereira2020.pdf: 3094952 bytes, checksum: f4865b62f06ffd1c475bd3c9d33ba201 (MD5) Previous issue date: 2019-09-11Conselho Nacional de Desenvolvimento Científico e Tecnológicoapplication/pdfhttp://tede-server.lncc.br:8080/retrieve/1232/Dissertacao_RafaelSilvaPereira2020.pdf.jpgengLaboratório Nacional de Computação CientíficaPrograma de Pós-Graduação em Modelagem ComputacionalLNCCBrasilCoordenação de Pós-Graduação e Aperfeiçoamento (COPGA)http://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessSmall dataFew shot learningDeep learningCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOStrategies and techniques for deep learning on small datainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Biblioteca Digital de Teses e Dissertações do LNCCinstname:Laboratório Nacional de Computação Científica (LNCC)instacron:LNCCLICENSElicense.txtlicense.txttext/plain; charset=utf-82165http://tede-server.lncc.br:8080/tede/bitstream/tede/320/1/license.txtbd3efa91386c1718a7f26a329fdcb468MD51CC-LICENSElicense_urllicense_urltext/plain; charset=utf-849http://tede-server.lncc.br:8080/tede/bitstream/tede/320/2/license_url4afdbb8c545fd630ea7db775da747b2fMD52license_textlicense_texttext/html; charset=utf-80http://tede-server.lncc.br:8080/tede/bitstream/tede/320/3/license_textd41d8cd98f00b204e9800998ecf8427eMD53license_rdflicense_rdfapplication/rdf+xml; charset=utf-80http://tede-server.lncc.br:8080/tede/bitstream/tede/320/4/license_rdfd41d8cd98f00b204e9800998ecf8427eMD54ORIGINALDissertacao_RafaelSilvaPereira2020.pdfDissertacao_RafaelSilvaPereira2020.pdfapplication/pdf3094952http://tede-server.lncc.br:8080/tede/bitstream/tede/320/5/Dissertacao_RafaelSilvaPereira2020.pdff4865b62f06ffd1c475bd3c9d33ba201MD55TEXTDissertacao_RafaelSilvaPereira2020.pdf.txtDissertacao_RafaelSilvaPereira2020.pdf.txttext/plain229397http://tede-server.lncc.br:8080/tede/bitstream/tede/320/6/Dissertacao_RafaelSilvaPereira2020.pdf.txtd2407902665e6fb383d71983ce8aeb60MD56THUMBNAILDissertacao_RafaelSilvaPereira2020.pdf.jpgDissertacao_RafaelSilvaPereira2020.pdf.jpgimage/jpeg3220http://tede-server.lncc.br:8080/tede/bitstream/tede/320/7/Dissertacao_RafaelSilvaPereira2020.pdf.jpg250b89bd2b3c6f76ba6b78e9f1642d33MD57tede/3202023-04-19 12:18:46.929oai:tede-server.lncc.br:tede/320Tk9UQTogQ09MT1FVRSBBUVVJIEEgU1VBIFBSw5NQUklBIExJQ0VOw4dBCkVzdGEgbGljZW7Dp2EgZGUgZXhlbXBsbyDDqSBmb3JuZWNpZGEgYXBlbmFzIHBhcmEgZmlucyBpbmZvcm1hdGl2b3MuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgClhYWCAoU2lnbGEgZGEgVW5pdmVyc2lkYWRlKSBvIGRpcmVpdG8gbsOjby1leGNsdXNpdm8gZGUgcmVwcm9kdXppciwgIHRyYWR1emlyIChjb25mb3JtZSBkZWZpbmlkbyBhYmFpeG8pLCBlL291IApkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlIAplbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIApwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgU2lnbGEgZGUgVW5pdmVyc2lkYWRlIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBhIHN1YSB0ZXNlIG91IApkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyAKbmVzdGEgbGljZW7Dp2EuIFZvY8OqIHRhbWLDqW0gZGVjbGFyYSBxdWUgbyBkZXDDs3NpdG8gZGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBuw6NvLCBxdWUgc2VqYSBkZSBzZXUgCmNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiAKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSAKb3MgZGlyZWl0b3MgYXByZXNlbnRhZG9zIG5lc3RhIGxpY2Vuw6dhLCBlIHF1ZSBlc3NlIG1hdGVyaWFsIGRlIHByb3ByaWVkYWRlIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIAppZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG9yYSBkZXBvc2l0YWRhLgoKQ0FTTyBBIFRFU0UgT1UgRElTU0VSVEHDh8ODTyBPUkEgREVQT1NJVEFEQSBURU5IQSBTSURPIFJFU1VMVEFETyBERSBVTSBQQVRST0PDjU5JTyBPVSAKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBTSUdMQSBERSAKVU5JVkVSU0lEQURFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyAKVEFNQsOJTSBBUyBERU1BSVMgT0JSSUdBw4fDlUVTIEVYSUdJREFTIFBPUiBDT05UUkFUTyBPVSBBQ09SRE8uCgpBIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lIChzKSBvdSBvKHMpIG5vbWUocykgZG8ocykgCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIApjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Teses e Dissertaçõeshttps://tede.lncc.br/PUBhttps://tede.lncc.br/oai/requestlibrary@lncc.br||library@lncc.bropendoar:2023-04-19T15:18:46Biblioteca Digital de Teses e Dissertações do LNCC - Laboratório Nacional de Computação Científica (LNCC)false |
dc.title.por.fl_str_mv |
Strategies and techniques for deep learning on small data |
title |
Strategies and techniques for deep learning on small data |
spellingShingle |
Strategies and techniques for deep learning on small data Pereira, Rafael Silva Small data Few shot learning Deep learning CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
title_short |
Strategies and techniques for deep learning on small data |
title_full |
Strategies and techniques for deep learning on small data |
title_fullStr |
Strategies and techniques for deep learning on small data |
title_full_unstemmed |
Strategies and techniques for deep learning on small data |
title_sort |
Strategies and techniques for deep learning on small data |
author |
Pereira, Rafael Silva |
author_facet |
Pereira, Rafael Silva |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Porto, Fábio André Machado |
dc.contributor.referee1.fl_str_mv |
Porto, Fábio André Machado |
dc.contributor.referee2.fl_str_mv |
Ziviani, Artur |
dc.contributor.referee3.fl_str_mv |
Joly, Alexis |
dc.contributor.referee4.fl_str_mv |
Silva, Eduardo Bezerra da |
dc.contributor.referee5.fl_str_mv |
Gomes, Antônio Tadeu Azevedo |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/197141481132130 |
dc.contributor.author.fl_str_mv |
Pereira, Rafael Silva |
contributor_str_mv |
Porto, Fábio André Machado Porto, Fábio André Machado Ziviani, Artur Joly, Alexis Silva, Eduardo Bezerra da Gomes, Antônio Tadeu Azevedo |
dc.subject.por.fl_str_mv |
Small data Few shot learning Deep learning |
topic |
Small data Few shot learning Deep learning CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
description |
A construção de modelos permite a interpretação de problemas complexos. Na Ciência da Computação, tais modelos levam à concepção de algoritmos e sua implementação em sistemas computacionais, contribuindo para a solução do problema. No entanto, alguns problemas são muito complexos para serem descritos usando uma abordagem algorítmica. A introdução de métodos de aprendizado de máquina visa criar modelos baseados diretamente nos dados coletados que representam o fenômeno observado. Embora essa abordagem tenha levado a grandes avanços em muitos campos diferentes, os métodos orientados por dados geralmente requerem uma quantidade substancial de dados para compreensão do problema modelado. Neste trabalho, investigamos o problema de poucos dados para métodos de aprendizado profundo. Apresentamos estratégias para minimizar a incerteza na previsão, minimizando a variação intraclasse em tarefas de classificação, restringindo o espaço de solução com base em conhecimento prévio sobre o domínio. Além disso, discutimos os cenários de few shot learning e zero shot learning, onde objetivamos treinar classificadores robustos por meio de uma função de kernel fixa, a fim de criar um modelo que generalize para classes nas quais não foi treinado. Apresentamos experimentos para cada um destes e avaliamos suas propriedades em datasets distintos. |
publishDate |
2020 |
dc.date.issued.fl_str_mv |
2020-09-11 |
dc.date.accessioned.fl_str_mv |
2023-03-08T17:10:09Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
PEREIRA, R. S. Strategies and techniques for deep learning on small data. 2020. 150 f. Dissertação (Programa de Pós-Graduação em Modelagem Computacional) - Laboratório Nacional de Computação Científica, Petrópolis, 2020. |
dc.identifier.uri.fl_str_mv |
https://tede.lncc.br/handle/tede/320 |
identifier_str_mv |
PEREIRA, R. S. Strategies and techniques for deep learning on small data. 2020. 150 f. Dissertação (Programa de Pós-Graduação em Modelagem Computacional) - Laboratório Nacional de Computação Científica, Petrópolis, 2020. |
url |
https://tede.lncc.br/handle/tede/320 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/4.0/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/4.0/ |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Laboratório Nacional de Computação Científica |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Modelagem Computacional |
dc.publisher.initials.fl_str_mv |
LNCC |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Coordenação de Pós-Graduação e Aperfeiçoamento (COPGA) |
publisher.none.fl_str_mv |
Laboratório Nacional de Computação Científica |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações do LNCC instname:Laboratório Nacional de Computação Científica (LNCC) instacron:LNCC |
instname_str |
Laboratório Nacional de Computação Científica (LNCC) |
instacron_str |
LNCC |
institution |
LNCC |
reponame_str |
Biblioteca Digital de Teses e Dissertações do LNCC |
collection |
Biblioteca Digital de Teses e Dissertações do LNCC |
bitstream.url.fl_str_mv |
http://tede-server.lncc.br:8080/tede/bitstream/tede/320/1/license.txt http://tede-server.lncc.br:8080/tede/bitstream/tede/320/2/license_url http://tede-server.lncc.br:8080/tede/bitstream/tede/320/3/license_text http://tede-server.lncc.br:8080/tede/bitstream/tede/320/4/license_rdf http://tede-server.lncc.br:8080/tede/bitstream/tede/320/5/Dissertacao_RafaelSilvaPereira2020.pdf http://tede-server.lncc.br:8080/tede/bitstream/tede/320/6/Dissertacao_RafaelSilvaPereira2020.pdf.txt http://tede-server.lncc.br:8080/tede/bitstream/tede/320/7/Dissertacao_RafaelSilvaPereira2020.pdf.jpg |
bitstream.checksum.fl_str_mv |
bd3efa91386c1718a7f26a329fdcb468 4afdbb8c545fd630ea7db775da747b2f d41d8cd98f00b204e9800998ecf8427e d41d8cd98f00b204e9800998ecf8427e f4865b62f06ffd1c475bd3c9d33ba201 d2407902665e6fb383d71983ce8aeb60 250b89bd2b3c6f76ba6b78e9f1642d33 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações do LNCC - Laboratório Nacional de Computação Científica (LNCC) |
repository.mail.fl_str_mv |
library@lncc.br||library@lncc.br |
_version_ |
1797683219423821824 |