Emotion Prediction Through Audiovisual Content Analysis

• Autor(a) principal: Peixoto, Nuno Filipe Matos
• Data de Publicação: 2023
• Tipo de documento: Dissertação
• Idioma: eng
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/11110/2537
• topic: Análise Emocional; Neurociência; Machine Learning; Vídeo Afetivo

Reconhecer e perceber quais são as emoções despertadas pelos conteúdos audiovisuais pode tornar-se uma ferramenta essencial para a indústria media, entre outras, uma vez que, ao usar esta informação podem garantir a produção de conteúdo que irá, com grande eficácia, despertar o sentimento pretendido no publico alvo. No entanto, devido à grande complexidade do cérebro humano, existem várias variáveis para considerar, tais como variáveis de baixo nível como as cores, luminosidade e contraste numa imagem e variáveis de alto nível que podem ser o tipo de objetos presentes, condições meteorológicas, entre outras. Para além destas, podemos ter uma análise bottom-up, focada em dados sensórias, e uma análise top-down influenciada por experiências prévias, expectativas, variáveis contextuais e até outras variáveis que ainda nos são desconhecidas. Desta forma, este tópico será explorado em maior profundidade com o objetivo de compreender de que forma os fundamentos da psicologia e neurociência podem ser aplicados neste trabalho e no mundo da engenharia informática. Neste projeto, recorrendo à abordagem direta na análise de conteúdo audiovisual, o nosso objetivo é a criação de um algoritmo, através do uso de ferramentas de machine learning, com a finalidade de compreender e prever a excitação emocional induzida por este tipo de conteúdo e torná-la aplicável a vários tipos de conteúdo. Neste estudo iremos usar a atividade eletrodérmica, que consiste em alterações autonómicas nas propriedades elétricas da pele, como base para a criação das métricas neste projeto uma vez que apresenta resultados positivos em prever estados cognitivos como excitação emocional, emoção e atenção. No entanto, pode ser difícil interpretar as suas métricas agregadas. Este projeto apresenta como é que chegamos à conclusão de que é, de facto, possível prever em classes a resposta excitatória emocional a partir de vídeo e áudio e que, poderá ser uma questão de tempo até que se torne algo usado diariamente na realidade atual.