Descrição semântica de objetos em imagens baseada na Teoria dos Protótipos

• Autor(a) principal: Omar Vidal Pino
• Data de Publicação: 2020
• Tipo de documento: Tese
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/34969; https://orcid.org/0000-0002-9917-3838
• topic: Visão computacional; Aprendizagem profunda; Teoria dos Protótipos; Efeitos prototípicos; Descrição semântica; Computer vision; Deep learning; Prototype Theory; Prototypicality effects; Semantic description; Computação – Teses; Teoria dos protótipos – Teses; Aprendizado profundo – Teses; Visão computacional – Teses

Esta pesquisa tem como objetivo propor um modelo para a descrição semântica das características de objetos a partir de imagens. Apresenta-se uma nova abordagem de descrição semântica de objetos fundamentada na Teoria dos Protótipos. Propõe-se o Modelo Computacional do Protótipo (CPM) para codificar e armazenar o significado semântico central (protótipo semântico) das categorias de objetos. O modelo CPM é utilizado para representar e construir os protótipos semânticos das categorias de objetos usando as Redes Neuronais Convolucionais (CNN). Propõe-se um Modelo de Descrição Semântica baseado em Protótipos que usa o modelo CPM proposto para descrever objetos de maneira a destacar as características que os distinguem dentro de uma categoria.O Descritor Semântico Global proposto (GSDP) constrói assinaturas discriminativas, de baixa dimensionalidade, interpretáveis e que codificam a informação semântica dos objetos por meio dos protótipos semânticos construídos. O descritor semântico GSDP usa a Camada de Similaridade Prototípica (PS-Layer) proposta para recuperar o protótipo correspondente à categoria de interesse usando o princípio de categorização baseado em protótipos. Os experimentos realizados utilizando conjuntos de dados de domínio público mostraram que: i) o modelo CPM proposto simula adequadamente a estrutura interna das categorias; ii) a métrica de distância proposta apresenta poder expressivo para capturar a tipicidade do objeto dentro da categoria; iii) a classificação semântica baseada em protótipos pode melhorar o desempenho dos modelos CNN de classificação; iv) a codificação do descritor semântico proposto é semanticamente interpretável e supera significativamente em desempenho outras codificações globais de imagem em tarefas de agrupamento e classificação.