Strategies and techniques for deep learning on small data

Detalhes bibliográficos
Autor(a) principal: Pereira, Rafael Silva
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações do LNCC
Texto Completo: https://tede.lncc.br/handle/tede/320
Resumo: A construção de modelos permite a interpretação de problemas complexos. Na Ciência da Computação, tais modelos levam à concepção de algoritmos e sua implementação em sistemas computacionais, contribuindo para a solução do problema. No entanto, alguns problemas são muito complexos para serem descritos usando uma abordagem algorítmica. A introdução de métodos de aprendizado de máquina visa criar modelos baseados diretamente nos dados coletados que representam o fenômeno observado. Embora essa abordagem tenha levado a grandes avanços em muitos campos diferentes, os métodos orientados por dados geralmente requerem uma quantidade substancial de dados para compreensão do problema modelado. Neste trabalho, investigamos o problema de poucos dados para métodos de aprendizado profundo. Apresentamos estratégias para minimizar a incerteza na previsão, minimizando a variação intraclasse em tarefas de classificação, restringindo o espaço de solução com base em conhecimento prévio sobre o domínio. Além disso, discutimos os cenários de few shot learning e zero shot learning, onde objetivamos treinar classificadores robustos por meio de uma função de kernel fixa, a fim de criar um modelo que generalize para classes nas quais não foi treinado. Apresentamos experimentos para cada um destes e avaliamos suas propriedades em datasets distintos.
id LNCC_67b2bff46ce5236126aff816f8bfe161
oai_identifier_str oai:tede-server.lncc.br:tede/320
network_acronym_str LNCC
network_name_str Biblioteca Digital de Teses e Dissertações do LNCC
repository_id_str
spelling Porto, Fábio André MachadoPorto, Fábio André MachadoZiviani, ArturJoly, AlexisSilva, Eduardo Bezerra daGomes, Antônio Tadeu Azevedohttp://lattes.cnpq.br/197141481132130Pereira, Rafael Silva2023-03-08T17:10:09Z2020-09-11PEREIRA, R. S. Strategies and techniques for deep learning on small data. 2020. 150 f. Dissertação (Programa de Pós-Graduação em Modelagem Computacional) - Laboratório Nacional de Computação Científica, Petrópolis, 2020.https://tede.lncc.br/handle/tede/320A construção de modelos permite a interpretação de problemas complexos. Na Ciência da Computação, tais modelos levam à concepção de algoritmos e sua implementação em sistemas computacionais, contribuindo para a solução do problema. No entanto, alguns problemas são muito complexos para serem descritos usando uma abordagem algorítmica. A introdução de métodos de aprendizado de máquina visa criar modelos baseados diretamente nos dados coletados que representam o fenômeno observado. Embora essa abordagem tenha levado a grandes avanços em muitos campos diferentes, os métodos orientados por dados geralmente requerem uma quantidade substancial de dados para compreensão do problema modelado. Neste trabalho, investigamos o problema de poucos dados para métodos de aprendizado profundo. Apresentamos estratégias para minimizar a incerteza na previsão, minimizando a variação intraclasse em tarefas de classificação, restringindo o espaço de solução com base em conhecimento prévio sobre o domínio. Além disso, discutimos os cenários de few shot learning e zero shot learning, onde objetivamos treinar classificadores robustos por meio de uma função de kernel fixa, a fim de criar um modelo que generalize para classes nas quais não foi treinado. Apresentamos experimentos para cada um destes e avaliamos suas propriedades em datasets distintos.The design of models enables the interpretation of complex problems. In computer Science, such models lead to the conception of algorithms and their implementation in computer systems, contributing to the problem solution. However, some problems are too complex to be described using an algorithmic approach. The introduction of machine learning methods aims to create models based directly on the collected data representing the observed phenomenon. While this approach led to great advances in many different fields, data driven methods often require a substantial amount of data in order to generalize its understanding of the modelled problem. In this work, we investigate the problem of small data for deep learning methods. We present strategies to minimize uncertainty on prediction by minimizing intra-class variation in classification tasks, constraining the solution space based on prior knowledge on the domain. Additionally, we discuss the few shot and zero shot scenarios, where we aim at training robust classifiers trough a fixed kernel function in order to create a model that generalizes for classes it was not trained upon. We present experiments for each of these and evaluate their properties on distinct datasets.Submitted by Patrícia Vieira Silva (library@lncc.br) on 2023-03-08T17:09:44Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_RafaelSilvaPereira2020.pdf: 3094952 bytes, checksum: f4865b62f06ffd1c475bd3c9d33ba201 (MD5)Approved for entry into archive by Patrícia Vieira Silva (library@lncc.br) on 2023-03-08T17:09:56Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_RafaelSilvaPereira2020.pdf: 3094952 bytes, checksum: f4865b62f06ffd1c475bd3c9d33ba201 (MD5)Made available in DSpace on 2023-03-08T17:10:09Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_RafaelSilvaPereira2020.pdf: 3094952 bytes, checksum: f4865b62f06ffd1c475bd3c9d33ba201 (MD5) Previous issue date: 2019-09-11Conselho Nacional de Desenvolvimento Científico e Tecnológicoapplication/pdfhttp://tede-server.lncc.br:8080/retrieve/1232/Dissertacao_RafaelSilvaPereira2020.pdf.jpgengLaboratório Nacional de Computação CientíficaPrograma de Pós-Graduação em Modelagem ComputacionalLNCCBrasilCoordenação de Pós-Graduação e Aperfeiçoamento (COPGA)http://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessSmall dataFew shot learningDeep learningCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOStrategies and techniques for deep learning on small datainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Biblioteca Digital de Teses e Dissertações do LNCCinstname:Laboratório Nacional de Computação Científica (LNCC)instacron:LNCCLICENSElicense.txtlicense.txttext/plain; charset=utf-82165http://tede-server.lncc.br:8080/tede/bitstream/tede/320/1/license.txtbd3efa91386c1718a7f26a329fdcb468MD51CC-LICENSElicense_urllicense_urltext/plain; charset=utf-849http://tede-server.lncc.br:8080/tede/bitstream/tede/320/2/license_url4afdbb8c545fd630ea7db775da747b2fMD52license_textlicense_texttext/html; charset=utf-80http://tede-server.lncc.br:8080/tede/bitstream/tede/320/3/license_textd41d8cd98f00b204e9800998ecf8427eMD53license_rdflicense_rdfapplication/rdf+xml; charset=utf-80http://tede-server.lncc.br:8080/tede/bitstream/tede/320/4/license_rdfd41d8cd98f00b204e9800998ecf8427eMD54ORIGINALDissertacao_RafaelSilvaPereira2020.pdfDissertacao_RafaelSilvaPereira2020.pdfapplication/pdf3094952http://tede-server.lncc.br:8080/tede/bitstream/tede/320/5/Dissertacao_RafaelSilvaPereira2020.pdff4865b62f06ffd1c475bd3c9d33ba201MD55TEXTDissertacao_RafaelSilvaPereira2020.pdf.txtDissertacao_RafaelSilvaPereira2020.pdf.txttext/plain229397http://tede-server.lncc.br:8080/tede/bitstream/tede/320/6/Dissertacao_RafaelSilvaPereira2020.pdf.txtd2407902665e6fb383d71983ce8aeb60MD56THUMBNAILDissertacao_RafaelSilvaPereira2020.pdf.jpgDissertacao_RafaelSilvaPereira2020.pdf.jpgimage/jpeg3220http://tede-server.lncc.br:8080/tede/bitstream/tede/320/7/Dissertacao_RafaelSilvaPereira2020.pdf.jpg250b89bd2b3c6f76ba6b78e9f1642d33MD57tede/3202023-04-19 12:18:46.929oai:tede-server.lncc.br:tede/320Tk9UQTogQ09MT1FVRSBBUVVJIEEgU1VBIFBSw5NQUklBIExJQ0VOw4dBCkVzdGEgbGljZW7Dp2EgZGUgZXhlbXBsbyDDqSBmb3JuZWNpZGEgYXBlbmFzIHBhcmEgZmlucyBpbmZvcm1hdGl2b3MuCgpMSUNFTsOHQSBERSBESVNUUklCVUnDh8ODTyBOw4NPLUVYQ0xVU0lWQQoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSDDoCBVbml2ZXJzaWRhZGUgClhYWCAoU2lnbGEgZGEgVW5pdmVyc2lkYWRlKSBvIGRpcmVpdG8gbsOjby1leGNsdXNpdm8gZGUgcmVwcm9kdXppciwgIHRyYWR1emlyIChjb25mb3JtZSBkZWZpbmlkbyBhYmFpeG8pLCBlL291IApkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlIAplbSBxdWFscXVlciBtZWlvLCBpbmNsdWluZG8gb3MgZm9ybWF0b3Mgw6F1ZGlvIG91IHbDrWRlby4KClZvY8OqIGNvbmNvcmRhIHF1ZSBhIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIApwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byBwYXJhIGZpbnMgZGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIHRhbWLDqW0gY29uY29yZGEgcXVlIGEgU2lnbGEgZGUgVW5pdmVyc2lkYWRlIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBhIHN1YSB0ZXNlIG91IApkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyAKbmVzdGEgbGljZW7Dp2EuIFZvY8OqIHRhbWLDqW0gZGVjbGFyYSBxdWUgbyBkZXDDs3NpdG8gZGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBuw6NvLCBxdWUgc2VqYSBkZSBzZXUgCmNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiAKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSAKb3MgZGlyZWl0b3MgYXByZXNlbnRhZG9zIG5lc3RhIGxpY2Vuw6dhLCBlIHF1ZSBlc3NlIG1hdGVyaWFsIGRlIHByb3ByaWVkYWRlIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIAppZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbyBubyB0ZXh0byBvdSBubyBjb250ZcO6ZG8gZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG9yYSBkZXBvc2l0YWRhLgoKQ0FTTyBBIFRFU0UgT1UgRElTU0VSVEHDh8ODTyBPUkEgREVQT1NJVEFEQSBURU5IQSBTSURPIFJFU1VMVEFETyBERSBVTSBQQVRST0PDjU5JTyBPVSAKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBTSUdMQSBERSAKVU5JVkVSU0lEQURFLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyAKVEFNQsOJTSBBUyBERU1BSVMgT0JSSUdBw4fDlUVTIEVYSUdJREFTIFBPUiBDT05UUkFUTyBPVSBBQ09SRE8uCgpBIFNpZ2xhIGRlIFVuaXZlcnNpZGFkZSBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lIChzKSBvdSBvKHMpIG5vbWUocykgZG8ocykgCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzIApjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLgo=Biblioteca Digital de Teses e Dissertaçõeshttps://tede.lncc.br/PUBhttps://tede.lncc.br/oai/requestlibrary@lncc.br||library@lncc.bropendoar:2023-04-19T15:18:46Biblioteca Digital de Teses e Dissertações do LNCC - Laboratório Nacional de Computação Científica (LNCC)false
dc.title.por.fl_str_mv Strategies and techniques for deep learning on small data
title Strategies and techniques for deep learning on small data
spellingShingle Strategies and techniques for deep learning on small data
Pereira, Rafael Silva
Small data
Few shot learning
Deep learning
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
title_short Strategies and techniques for deep learning on small data
title_full Strategies and techniques for deep learning on small data
title_fullStr Strategies and techniques for deep learning on small data
title_full_unstemmed Strategies and techniques for deep learning on small data
title_sort Strategies and techniques for deep learning on small data
author Pereira, Rafael Silva
author_facet Pereira, Rafael Silva
author_role author
dc.contributor.advisor1.fl_str_mv Porto, Fábio André Machado
dc.contributor.referee1.fl_str_mv Porto, Fábio André Machado
dc.contributor.referee2.fl_str_mv Ziviani, Artur
dc.contributor.referee3.fl_str_mv Joly, Alexis
dc.contributor.referee4.fl_str_mv Silva, Eduardo Bezerra da
dc.contributor.referee5.fl_str_mv Gomes, Antônio Tadeu Azevedo
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/197141481132130
dc.contributor.author.fl_str_mv Pereira, Rafael Silva
contributor_str_mv Porto, Fábio André Machado
Porto, Fábio André Machado
Ziviani, Artur
Joly, Alexis
Silva, Eduardo Bezerra da
Gomes, Antônio Tadeu Azevedo
dc.subject.por.fl_str_mv Small data
Few shot learning
Deep learning
topic Small data
Few shot learning
Deep learning
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
description A construção de modelos permite a interpretação de problemas complexos. Na Ciência da Computação, tais modelos levam à concepção de algoritmos e sua implementação em sistemas computacionais, contribuindo para a solução do problema. No entanto, alguns problemas são muito complexos para serem descritos usando uma abordagem algorítmica. A introdução de métodos de aprendizado de máquina visa criar modelos baseados diretamente nos dados coletados que representam o fenômeno observado. Embora essa abordagem tenha levado a grandes avanços em muitos campos diferentes, os métodos orientados por dados geralmente requerem uma quantidade substancial de dados para compreensão do problema modelado. Neste trabalho, investigamos o problema de poucos dados para métodos de aprendizado profundo. Apresentamos estratégias para minimizar a incerteza na previsão, minimizando a variação intraclasse em tarefas de classificação, restringindo o espaço de solução com base em conhecimento prévio sobre o domínio. Além disso, discutimos os cenários de few shot learning e zero shot learning, onde objetivamos treinar classificadores robustos por meio de uma função de kernel fixa, a fim de criar um modelo que generalize para classes nas quais não foi treinado. Apresentamos experimentos para cada um destes e avaliamos suas propriedades em datasets distintos.
publishDate 2020
dc.date.issued.fl_str_mv 2020-09-11
dc.date.accessioned.fl_str_mv 2023-03-08T17:10:09Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv PEREIRA, R. S. Strategies and techniques for deep learning on small data. 2020. 150 f. Dissertação (Programa de Pós-Graduação em Modelagem Computacional) - Laboratório Nacional de Computação Científica, Petrópolis, 2020.
dc.identifier.uri.fl_str_mv https://tede.lncc.br/handle/tede/320
identifier_str_mv PEREIRA, R. S. Strategies and techniques for deep learning on small data. 2020. 150 f. Dissertação (Programa de Pós-Graduação em Modelagem Computacional) - Laboratório Nacional de Computação Científica, Petrópolis, 2020.
url https://tede.lncc.br/handle/tede/320
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Laboratório Nacional de Computação Científica
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Modelagem Computacional
dc.publisher.initials.fl_str_mv LNCC
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Coordenação de Pós-Graduação e Aperfeiçoamento (COPGA)
publisher.none.fl_str_mv Laboratório Nacional de Computação Científica
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações do LNCC
instname:Laboratório Nacional de Computação Científica (LNCC)
instacron:LNCC
instname_str Laboratório Nacional de Computação Científica (LNCC)
instacron_str LNCC
institution LNCC
reponame_str Biblioteca Digital de Teses e Dissertações do LNCC
collection Biblioteca Digital de Teses e Dissertações do LNCC
bitstream.url.fl_str_mv http://tede-server.lncc.br:8080/tede/bitstream/tede/320/1/license.txt
http://tede-server.lncc.br:8080/tede/bitstream/tede/320/2/license_url
http://tede-server.lncc.br:8080/tede/bitstream/tede/320/3/license_text
http://tede-server.lncc.br:8080/tede/bitstream/tede/320/4/license_rdf
http://tede-server.lncc.br:8080/tede/bitstream/tede/320/5/Dissertacao_RafaelSilvaPereira2020.pdf
http://tede-server.lncc.br:8080/tede/bitstream/tede/320/6/Dissertacao_RafaelSilvaPereira2020.pdf.txt
http://tede-server.lncc.br:8080/tede/bitstream/tede/320/7/Dissertacao_RafaelSilvaPereira2020.pdf.jpg
bitstream.checksum.fl_str_mv bd3efa91386c1718a7f26a329fdcb468
4afdbb8c545fd630ea7db775da747b2f
d41d8cd98f00b204e9800998ecf8427e
d41d8cd98f00b204e9800998ecf8427e
f4865b62f06ffd1c475bd3c9d33ba201
d2407902665e6fb383d71983ce8aeb60
250b89bd2b3c6f76ba6b78e9f1642d33
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações do LNCC - Laboratório Nacional de Computação Científica (LNCC)
repository.mail.fl_str_mv library@lncc.br||library@lncc.br
_version_ 1797683219423821824