Perceptsent: exploring subjectivity in a novel dataset for visual sentiment analysis

• Autor(a) principal: Lopes, Cesar Rafael
• Data de Publicação: 2022
• Tipo de documento: Dissertação
• Idioma: eng
• Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
• Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/30278
• topic: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; Percepção visual; Emoções - Análise; Redes neurais (Computação); Imagens - Análise; Inteligência artificial; Visual perception; Emotions - Analysis; Neural networks (Computer science); Pictures - Analysis; Artificial intelligence; Engenharia Elétrica

A análise visual de sentimentos é um problema desafiador. Uma série de abordagens e conjuntos de dados foram desenvolvidos para promover avanços neste relevante tópico de pesquisa. No entanto, a maioria dos trabalhos investiga os atributos visuais das imagens avaliadas, dando menos atenção às percepções dos usuários ou espectadores. Com o objetivo de preencher essa lacuna, apresentamos o PerceptSent, um novo conjunto de dados para análise visual de sentimentos que abrange 5.000 imagens compartilhadas por usuários em redes sociais. Além da avaliação do sentimento (positiva, levemente positiva, neutra, levemente negativa, negativa) expresso por cada avaliador sobre cada imagem analisada, o conjunto de dados contém os metadados do avaliador (idade, gênero, nível socioeconômico, escolaridade e dicas psicológicas) bem como percepções subjetivas observadas pelo avaliador sobre a imagem como a presença da natureza, violência, falta de manutenção, etc. Arquiteturas profundas e diferentes formulações do problema são exploradas usando o conjunto de dados proposto, visando combinar atributos visuais e extras para análise automática de sentimentos. Mostramos evidências de que as percepções do avaliador, quando corretamente empregadas, são cruciais na análise de sentimentos visuais, capazes de melhorar a precisão e o desempenho F-score em 30%, em média, para uma taxa impressionante 97,00% e 96,80%, respectivamente. Embora neste momento não tenhamos abordagens automáticas para capturar essas percepções, nossos resultados abrem novos caminhos de investigação. A base de dados PerceptSent e os modelos treinados estão disponíveis no GitHub.