Fusão de informação multimodal por detecção de correlação para tarefas de análise de vídeo

• Autor(a) principal: Kishi, Rodrigo Mitsuo
• Data de Publicação: 2020
• Tipo de documento: Tese
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
• Texto Completo: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29072020-100439/
• topic: Análise de co-ocorrência; Co-occurrence analysis; Digital video; Early fusion; Fusão prévia; Multimedia; Multimídia; Multimodalidade; Multimodality; Vídeo digital

O emprego de fusão prévia multimodal tem se mostrado eficaz em grande parte das tarefas de análise de vídeo existentes. Os métodos de fusão prévia encontrados na literatura foram desenvolvidos para melhorar a eficácia em tarefas específicas e, por esse motivo, são essencialmente vinculados a particularidades de suas respectivas tarefas fim. Com isso, alguns aspectos importantes para a produção de uma representação expressiva por meio de fusão de informação, bem como o potencial de generalização quanto ao domínio de aplicação foram negligenciados em pesquisas até o presente momento. Esta tese de doutorado propõe um método, M4InFus, destinado a realizar fusão de informação multimodal sem utilizar especificidades de domínio de aplicação. O método M4InFus é baseado em identificação de co-ocorrência de padrões unimodais em segmentos de vídeo e cobre lacunas existentes na área de fusão de informação multimodal. O método proposto foi aplicado em dois experimentos na tarefa de Segmentação Temporal de Vídeo em Cenas e em um experimento na tarefa de Classificação de Vídeo, promovendo ganhos em eficácia em ambas as tarefas. Considerando que a eficácia em tais tarefas é limitada pela Lacuna Semântica, há um indício de que representações geradas pelo método M4InFus são menos distantes da semântica contida nos segmentos de vídeo de origem. Este projeto de doutorado também gerou, como contribuição, a implementação do M4InFus e a formação de recursos humanos em níveis de doutorado e de iniciação científica.