Estimativa de andamento musical através de escalogramas wavelet e redes neurais convolucionais

• Autor(a) principal: Viana, Luiz Alberto Guimarães
• Data de Publicação: 2023
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Institucional da UFBA
• Texto Completo: https://repositorio.ufba.br/handle/ri/36909
• topic: CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA; Andamento musical; Wavelet; Escalograma; Rede neural convolucional; Aumento artificial de dados; Audio tempo estimation; Musical tempo; Wavelet; Scalogram; Convolutional neural networks; Data augmentation; Musical information retrieval (MIR)

A estimativa de andamento é uma das tarefas mais fundamentais da Recuperação da Informação Musical (MIR - Musical Information Retrieval). Neste trabalho foi utilizada uma representação do sinal de áudio como uma imagem bidimensional através do escalograma wavelet. Foram testadas diferentes formas de geração do escalograma wavelet, variando a função wavelet analisadora e os níveis de escala. As imagens foram utilizadas para treinar uma Rede Neural Convolucional (CNN - Convolutional Neural Network) realizando um aprendizado supervisionado, relacionando a imagem com um valor de andamento alvo. O método de validação cruzada k-fold foi utilizado para gerar uma maior confiabilidade estatística do modelo proposto e definir o melhor resultado para as escolhas envolvendo os parâmetros de geração dos escalogramas. Foi implementado o aumento artificial de dados de forma online, modificando os escalogramas durante a rotina de treinamento. Por fim, o modelo foi avaliado em bancos de dados amplamente utilizados na literatura e os resultados foram comparados ao estado da arte. Resultados compatíveis ao estado da arte foram atingidos em um dos bancos de dados de avaliação, o "GiantSteps", atingindo uma acurácia (Tipo 2 - ACC2) de 92,6% com as wavelets analisadoras Morlet e Shannon.