Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos
Autor(a) principal: | |
---|---|
Data de Publicação: | 2020 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFMG |
Texto Completo: | http://hdl.handle.net/1843/34969 https://orcid.org/0000-0002-9917-3838 |
Resumo: | Esta pesquisa tem como objetivo propor um modelo para a descrição semântica das características de objetos a partir de imagens. Apresenta-se uma nova abordagem de descrição semântica de objetos fundamentada na Teoria dos Protótipos. Propõe-se o Modelo Computacional do Protótipo (CPM) para codificar e armazenar o significado semântico central (protótipo semântico) das categorias de objetos. O modelo CPM é utilizado para representar e construir os protótipos semânticos das categorias de objetos usando as Redes Neuronais Convolucionais (CNN). Propõe-se um Modelo de Descrição Semântica baseado em Protótipos que usa o modelo CPM proposto para descrever objetos de maneira a destacar as características que os distinguem dentro de uma categoria.O Descritor Semântico Global proposto (GSDP) constrói assinaturas discriminativas, de baixa dimensionalidade, interpretáveis e que codificam a informação semântica dos objetos por meio dos protótipos semânticos construídos. O descritor semântico GSDP usa a Camada de Similaridade Prototípica (PS-Layer) proposta para recuperar o protótipo correspondente à categoria de interesse usando o princípio de categorização baseado em protótipos. Os experimentos realizados utilizando conjuntos de dados de domínio público mostraram que: i) o modelo CPM proposto simula adequadamente a estrutura interna das categorias; ii) a métrica de distância proposta apresenta poder expressivo para capturar a tipicidade do objeto dentro da categoria; iii) a classificação semântica baseada em protótipos pode melhorar o desempenho dos modelos CNN de classificação; iv) a codificação do descritor semântico proposto é semanticamente interpretável e supera significativamente em desempenho outras codificações globais de imagem em tarefas de agrupamento e classificação. |
id |
UFMG_a1c551cd98e21767f06f1569c973b275 |
---|---|
oai_identifier_str |
oai:repositorio.ufmg.br:1843/34969 |
network_acronym_str |
UFMG |
network_name_str |
Repositório Institucional da UFMG |
repository_id_str |
|
spelling |
Mario Fernando Montenegro Camposhttp://lattes.cnpq.br/5792248901353552Erickson Rangel do NascimentoAnderson de Rezende RochaWagner Meira JuniorRenato José MartinsLuiz Chaimowiczhttp://lattes.cnpq.br/2898575142579291Omar Vidal Pino2021-02-09T18:27:36Z2021-02-09T18:27:36Z2020-02-10http://hdl.handle.net/1843/34969https://orcid.org/0000-0002-9917-3838Esta pesquisa tem como objetivo propor um modelo para a descrição semântica das características de objetos a partir de imagens. Apresenta-se uma nova abordagem de descrição semântica de objetos fundamentada na Teoria dos Protótipos. Propõe-se o Modelo Computacional do Protótipo (CPM) para codificar e armazenar o significado semântico central (protótipo semântico) das categorias de objetos. O modelo CPM é utilizado para representar e construir os protótipos semânticos das categorias de objetos usando as Redes Neuronais Convolucionais (CNN). Propõe-se um Modelo de Descrição Semântica baseado em Protótipos que usa o modelo CPM proposto para descrever objetos de maneira a destacar as características que os distinguem dentro de uma categoria.O Descritor Semântico Global proposto (GSDP) constrói assinaturas discriminativas, de baixa dimensionalidade, interpretáveis e que codificam a informação semântica dos objetos por meio dos protótipos semânticos construídos. O descritor semântico GSDP usa a Camada de Similaridade Prototípica (PS-Layer) proposta para recuperar o protótipo correspondente à categoria de interesse usando o princípio de categorização baseado em protótipos. Os experimentos realizados utilizando conjuntos de dados de domínio público mostraram que: i) o modelo CPM proposto simula adequadamente a estrutura interna das categorias; ii) a métrica de distância proposta apresenta poder expressivo para capturar a tipicidade do objeto dentro da categoria; iii) a classificação semântica baseada em protótipos pode melhorar o desempenho dos modelos CNN de classificação; iv) a codificação do descritor semântico proposto é semanticamente interpretável e supera significativamente em desempenho outras codificações globais de imagem em tarefas de agrupamento e classificação.This research aims to build a model for semantic description of objects based on features detected in images. We introduce a novel semantic description approach inspired on the Prototype Theory foundations. Inspired by the human approach used for representing categories, we propose a novel Computational Prototype Model (CPM) that encodes and stores the central semantic meaning of the object’s category: the semantic prototype. Our CPM model is used to represent and construct the semantic prototypes of object categories using Convolutional Neural Networks (CNN). The proposed Prototype-based Description Model uses the CPM model to describe an object highlighting its most distinctive features within the category. Our Global Semantic Descriptor (GSDP) builds discriminative, low-dimensional and semantically interpretable signatures that encode the semantic information of the objects using the constructed semantic prototypes. Our semantic descriptor use the proposed Prototypical Similarity Layer (PS-Layer) to retrieves the category prototype using the principle of categorization based on prototypes. In our experiments, using publicly available datasets, we show that: i) the proposed CPM model adequately simulates the internal semantic structure of the categories; ii) the proposed semantic distance metric can be understood as the object typicality score within a category; iii) our semantic classification method based on prototypes can improve the performance and interpretation of CNN classification models; iv) our semantic descriptor encoding ignificantly outperforms others state-of-the-art image global encoding in clustering and classification tasks.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoFAPEMIG - Fundação de Amparo à Pesquisa do Estado de Minas GeraisCAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorporUniversidade Federal de Minas GeraisPrograma de Pós-Graduação em Ciência da ComputaçãoUFMGBrasilICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃOhttp://creativecommons.org/licenses/by-nc-nd/3.0/pt/info:eu-repo/semantics/openAccessComputação – TesesTeoria dos protótipos – TesesAprendizado profundo – TesesVisão computacional – TesesVisão computacionalAprendizagem profundaTeoria dos ProtótiposEfeitos prototípicosDescrição semânticaComputer visionDeep learningPrototype TheoryPrototypicality effectsSemantic descriptionDescrição semântica de objetos em imagens baseada na Teoria dos ProtótiposSemantic description of objects in images based on Prototype Theoryinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGORIGINALPhDThesis_DCC2020_OmarVidalPino_library.pdfPhDThesis_DCC2020_OmarVidalPino_library.pdfPhD Thesis - Omar Vidal Pino - UFMG/ ICEX/ DCC - 2020application/pdf80444360https://repositorio.ufmg.br/bitstream/1843/34969/1/PhDThesis_DCC2020_OmarVidalPino_library.pdfc04275cfce93b47f80798cd217b3299dMD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufmg.br/bitstream/1843/34969/2/license_rdfcfd6801dba008cb6adbd9838b81582abMD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82119https://repositorio.ufmg.br/bitstream/1843/34969/3/license.txt34badce4be7e31e3adb4575ae96af679MD531843/349692021-02-09 15:27:36.336oai:repositorio.ufmg.br:1843/34969TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEgRE8gUkVQT1NJVMOTUklPIElOU1RJVFVDSU9OQUwgREEgVUZNRwoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIChSSS1VRk1HKSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZSBpcnJldm9nw6F2ZWwgZGUgcmVwcm9kdXppciBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIMOhdWRpbyBvdSB2w61kZW8uCgpWb2PDqiBkZWNsYXJhIHF1ZSBjb25oZWNlIGEgcG9sw610aWNhIGRlIGNvcHlyaWdodCBkYSBlZGl0b3JhIGRvIHNldSBkb2N1bWVudG8gZSBxdWUgY29uaGVjZSBlIGFjZWl0YSBhcyBEaXJldHJpemVzIGRvIFJJLVVGTUcuCgpWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGTUcgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY8OzcGlhIGRlIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBmaW5zIGRlIHNlZ3VyYW7Dp2EsIGJhY2stdXAgZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogZGVjbGFyYSBxdWUgYSBzdWEgcHVibGljYcOnw6NvIMOpIG9yaWdpbmFsIGUgcXVlIHZvY8OqIHRlbSBvIHBvZGVyIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIG8gZGVww7NzaXRvIGRlIHN1YSBwdWJsaWNhw6fDo28gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHB1YmxpY2HDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHB1YmxpY2HDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBQVUJMSUNBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UgQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCk8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lKHMpIG91IG8ocykgbm9tZXMocykgZG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4KCg==Repositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2021-02-09T18:27:36Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false |
dc.title.pt_BR.fl_str_mv |
Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos |
dc.title.alternative.pt_BR.fl_str_mv |
Semantic description of objects in images based on Prototype Theory |
title |
Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos |
spellingShingle |
Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos Omar Vidal Pino Visão computacional Aprendizagem profunda Teoria dos Protótipos Efeitos prototípicos Descrição semântica Computer vision Deep learning Prototype Theory Prototypicality effects Semantic description Computação – Teses Teoria dos protótipos – Teses Aprendizado profundo – Teses Visão computacional – Teses |
title_short |
Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos |
title_full |
Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos |
title_fullStr |
Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos |
title_full_unstemmed |
Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos |
title_sort |
Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos |
author |
Omar Vidal Pino |
author_facet |
Omar Vidal Pino |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Mario Fernando Montenegro Campos |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/5792248901353552 |
dc.contributor.advisor-co1.fl_str_mv |
Erickson Rangel do Nascimento |
dc.contributor.referee1.fl_str_mv |
Anderson de Rezende Rocha |
dc.contributor.referee2.fl_str_mv |
Wagner Meira Junior |
dc.contributor.referee3.fl_str_mv |
Renato José Martins |
dc.contributor.referee4.fl_str_mv |
Luiz Chaimowicz |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/2898575142579291 |
dc.contributor.author.fl_str_mv |
Omar Vidal Pino |
contributor_str_mv |
Mario Fernando Montenegro Campos Erickson Rangel do Nascimento Anderson de Rezende Rocha Wagner Meira Junior Renato José Martins Luiz Chaimowicz |
dc.subject.por.fl_str_mv |
Visão computacional Aprendizagem profunda Teoria dos Protótipos Efeitos prototípicos Descrição semântica Computer vision Deep learning Prototype Theory Prototypicality effects Semantic description |
topic |
Visão computacional Aprendizagem profunda Teoria dos Protótipos Efeitos prototípicos Descrição semântica Computer vision Deep learning Prototype Theory Prototypicality effects Semantic description Computação – Teses Teoria dos protótipos – Teses Aprendizado profundo – Teses Visão computacional – Teses |
dc.subject.other.pt_BR.fl_str_mv |
Computação – Teses Teoria dos protótipos – Teses Aprendizado profundo – Teses Visão computacional – Teses |
description |
Esta pesquisa tem como objetivo propor um modelo para a descrição semântica das características de objetos a partir de imagens. Apresenta-se uma nova abordagem de descrição semântica de objetos fundamentada na Teoria dos Protótipos. Propõe-se o Modelo Computacional do Protótipo (CPM) para codificar e armazenar o significado semântico central (protótipo semântico) das categorias de objetos. O modelo CPM é utilizado para representar e construir os protótipos semânticos das categorias de objetos usando as Redes Neuronais Convolucionais (CNN). Propõe-se um Modelo de Descrição Semântica baseado em Protótipos que usa o modelo CPM proposto para descrever objetos de maneira a destacar as características que os distinguem dentro de uma categoria.O Descritor Semântico Global proposto (GSDP) constrói assinaturas discriminativas, de baixa dimensionalidade, interpretáveis e que codificam a informação semântica dos objetos por meio dos protótipos semânticos construídos. O descritor semântico GSDP usa a Camada de Similaridade Prototípica (PS-Layer) proposta para recuperar o protótipo correspondente à categoria de interesse usando o princípio de categorização baseado em protótipos. Os experimentos realizados utilizando conjuntos de dados de domínio público mostraram que: i) o modelo CPM proposto simula adequadamente a estrutura interna das categorias; ii) a métrica de distância proposta apresenta poder expressivo para capturar a tipicidade do objeto dentro da categoria; iii) a classificação semântica baseada em protótipos pode melhorar o desempenho dos modelos CNN de classificação; iv) a codificação do descritor semântico proposto é semanticamente interpretável e supera significativamente em desempenho outras codificações globais de imagem em tarefas de agrupamento e classificação. |
publishDate |
2020 |
dc.date.issued.fl_str_mv |
2020-02-10 |
dc.date.accessioned.fl_str_mv |
2021-02-09T18:27:36Z |
dc.date.available.fl_str_mv |
2021-02-09T18:27:36Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/1843/34969 |
dc.identifier.orcid.pt_BR.fl_str_mv |
https://orcid.org/0000-0002-9917-3838 |
url |
http://hdl.handle.net/1843/34969 https://orcid.org/0000-0002-9917-3838 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/pt/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/pt/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação |
dc.publisher.initials.fl_str_mv |
UFMG |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO |
publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFMG instname:Universidade Federal de Minas Gerais (UFMG) instacron:UFMG |
instname_str |
Universidade Federal de Minas Gerais (UFMG) |
instacron_str |
UFMG |
institution |
UFMG |
reponame_str |
Repositório Institucional da UFMG |
collection |
Repositório Institucional da UFMG |
bitstream.url.fl_str_mv |
https://repositorio.ufmg.br/bitstream/1843/34969/1/PhDThesis_DCC2020_OmarVidalPino_library.pdf https://repositorio.ufmg.br/bitstream/1843/34969/2/license_rdf https://repositorio.ufmg.br/bitstream/1843/34969/3/license.txt |
bitstream.checksum.fl_str_mv |
c04275cfce93b47f80798cd217b3299d cfd6801dba008cb6adbd9838b81582ab 34badce4be7e31e3adb4575ae96af679 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG) |
repository.mail.fl_str_mv |
|
_version_ |
1803589543885012992 |