Extended bag-of-words formalism for image classification

• Autor(a) principal: Sandra Eliza Fontes de Avila
• Data de Publicação: 2013
• Tipo de documento: Tese
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/ESSA-9ACJ4K
• topic: Ciência da Computação; Visão por computador; Computação; Processamento de imagens; Reconhecimento de padrões

Informação visual, na forma de imagens e vídeos digitais, tornou-se tão onipresente em repositórios de dados, que não pode mais ser considerada uma 'cidadã de segunda classe', eclipsada por informações textuais. Neste cenário, a classificação de imagens tornou-se uma tarefa crítica. Em particular, a busca pela identificação automática de conceitos semânticos complexos, representados em imagens, tais como cenas ou objetos, tem motivado pesquisadores em diversas áreas como, por exemplo, Recuperação de Informação, Visão Computacional, Processamento de Imagem e Inteligência Artificial. No entanto, em contraste com os documentos de texto, cujas palavras apresentam conteúdo semântico, imagens consistem de pixels que não têm nenhuma informação semântica por si só, tornando a tarefa muito difícil. O problema abordado nesta tese refere-se à representação de imagens com base no seu conteúdo visual. Objetiva-se a detecção de conceitos em imagens e vídeos, por meio de uma nova representação que enriquece o modelo saco de palavras visuais. Baseando-se na quantização de descritores locais discriminantes por um dicionário, e na agregação desses descritores quantizados em um vetor único, o modelo saco de palavras surgiu como uma das abordagens mais promissora para a classificação de imagens. Nesta tese, é proposto BossaNova, uma nova representação de imagens que preserva informações importantes sobre a distribuição dos descritores locais em torno de cada palavra visual. Os resultados experimentais em diversas bases de classificação de images, tais como ImageCLEF Photo Annotation, MIRFLICKR, PASCAL VOC e 15-Scenes, mostraram a vantagem da abordagem BossaNova quando comparada às técnicas tradicionais, mesmo sem fazer uso de combinações complexas de diferentes descritores locais. Uma extensão da representação BossaNova também foi estudada nesta tese. Trata-se da combinação da abordagem BossaNova com uma outra representação muito competitiva baseada nos vetores de Fisher. Os resultados consistemente alcançam outras representações no estado-da-arte em diversas bases de dados, demonstrando a complementaridade das duas abordagens. Este estudo resultou no segundo lugar, na competição ImageCLEF 2012 Flickr Photo Annotation Task, dentre as 28 submissões, na categoria de informação visual. Ademais, a representação BossaNova também foi avaliada na aplicação real de detecção de pornografia. Os resultados validaram, mais uma vez, a relevância da abordagem BossaNova em relação às técnicas tradicionais em uma aplicação real