Integrando a dança e a música em uma arquitetura de deep learning

• Autor(a) principal: Lima, Maria Carolina Webber do Prado
• Data de Publicação: 2022
• Tipo de documento: Artigo
• Idioma: por
• Título da fonte: Repositório Institucional da UCS
• Texto Completo: https://repositorio.ucs.br/11338/11984
• topic: Aprendizado do computador; Aprendizado profundo (Aprendizado do computador); Dança; Música

A dança e a música são expressões artísticas correlacionadas. O uso de métodos de Machine Learning (ML) e Deep Learning (DL) em aplicações nestas áreas está em crescimento graças a criatividade dos artistas e designers. As áreas de ML e DL compreendem um conjunto de métodos computacionais que possibilitam a construção de modelos por meio do aprendizado de máquina. Este trabalho de pesquisa teve como objetivo propor, construir e avaliar modelos obtidos a partir de processos de aprendizado de máquina para uma tarefa de classificação a partir de vídeos de danças e geração de trechos de música. Para a elaboração deste projeto, iniciou-se com um processo de revisão sistemática [1], o qual considerou para análise um corpus composto por 15 artigos. Por meio do aprofundamento dos trabalhos buscou-se identificar quais técnicas de ML e DL foram aplicadas, quais os datasets utilizados, bem como reconhecer as métricas de avaliação empregadas. A partir dos dados obtidos concebeu-se uma arquitetura composta por redes convolucionais e recorrentes, que de forma complementar promoveram o processamento desejado. Como dados para validação e teste do modelo construiu-se três datasets de vídeos, representando danças nos estilos samba e forró. Durante a fase de testes projetou-se cinco modelos de DL, variando-se também o dataset utilizado. A saída final do sistema compreendeu a geração de trechos de música em formato Musical Instrument Digital Interface (MIDI). Como resultados, após extenso protocolo de testes, obteve-se valores de acurácia elevados em uma das configurações, registrando-se a classificação correta dos vídeos e produzindo trechos de música similares aos estilos esperados. Os resultados finais, em termos de métricas usadas em sistemas de DL, são detalhados no artigo. [resumo fornecido pelo autor]