Transcrição musical automática do instrumento de bateria a partir de vídeos

• Autor(a) principal: Brito, Eduardo Stein
• Data de Publicação: 2019
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/198581
• topic: Computação musical; Música; Automatic music transcription; Pose estimation; Drum instrument; Image processing; Machine learning

Métodos para transcrição automática de música consistem em algoritmos para automaticamente extrair informações de tom e ritmo a partir de áudios e/ou vídeos. Diversas pesquisas e trabalhos desenvolvidos na área propões técnicas eficazes, mas ainda existe espaço para melhorias e algoritmos mais sofisticados. Este trabalho propõe implementar uma nova solução para a transcrição musical automática do instrumento de bateria a partir da análise de vídeos de pessoas tocando este instrumento, e propõe atingir tal objetivo combinando técnicas de processamento de imagem e informações espaciais sobre a movimentação do corpo do músico e as peças da bateria que podem estar sendo tocadas a cada momento. O presente trabalho foca na transcrição do instrumento de bateria a partir apenas de vídeo, mas não áudio; essa suposição é importante pois a bateria é um instrumento cujos sons são frequentemente sobrepostos e não possuem notas bem definidas, como no caso de instrumentos de corda, o que pode dificultar o uso de técnicas baseadas em áudio e análise de frequência para transcrição. Em particular, uma das dificuldades de transcrever automaticamente músicas deste instrumento é que até mesmo as partituras não descrevem as músicas por notas musicais, e sim por qual tambor ou prato deve ser tocado em dado instante. Além disso, ao contrário de instrumentos de corda, nos quais o número de cordas é fixo, a quantidade de tambores e pratos em uma bateria é variável. Nossa implementação supera tais obstáculos com o uso de informação espacial, tais como a determinação de onde estão as peças da bateria e a verificação automática de qual peça foi tocada em cada momento. Além disso, se o áudio estiver disponível, nossa solução poderá ser usada em conjunto com técnicas atuais de transcrição baseadas em áudio. Neste trabalho, através do uso de filtros e máscaras, com auxílio de algoritmo de estimação de pose, foi possível realizar a transcrição de trechos de vídeos de músicos tocando o instrumento de bateria. Iremos apresentar, neste trabalho, as tecnologias empregadas, assim como resultados experimentais, limitações do trabalho e possíveis aplicações do método proposto.