Sistema audio visual para análise de solfejo

Detalhes bibliográficos
Autor(a) principal: Schramm, Rodrigo
Data de Publicação: 2015
Tipo de documento: Tese
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UFRGS
Texto Completo: http://hdl.handle.net/10183/122533
Resumo: O solfejo, em seu conceito mais amplo, é uma técnica usual no processo de ensinoaprendizagem musical, o qual envolve a realização vocal de melodias, considerando as alturas e as durações dos sons musicais registrados em partitura, devidamente associado à marcação de compassos por intermédio de gestos que definem a estrutura métrica e o andamento da peça musical. Este trabalho apresenta uma abordagem audiovisual para avaliação automática dessa prática de estudo pertinente à leitura e à estruturação musicais. O sistema proposto é dividido em três partes. A primeira efetua o reconhecimento visual dos gestos de marcação de compassos realizados pela mão, por intermédio de um classificador probabilístico. Um processo de alinhamento temporal garante o reconhecimento dos padrões de movimento mesmo em casos com variação de andamento, permitindo também a avaliação da precisão rítmica do aluno, quando comparado com um referencial metronômico. A segunda parte deste sistema obtém a transcrição melódica do canto a partir da análise do respectivo sinal de áudio. Os fragmentos melódicos detectados são agrupados e mapeados em relação às notas da partitura do exercício de solfejo, permitindo uma avaliação direta nota-a-nota da performance do canto. Por fim, a terceira parte do sistema proposto faz a integração entre o gesto de marcação de compassos e a transcrição melódica. Nesse caso, o gesto atua como um metrônomo, controlando o fluxo temporal. Assim, a avaliação nota-a-nota do solfejo pode ser empregada também em casos onde exista grande variação no andamento da peça. Tanto o processo de avaliação do gesto de marcação de compassos quanto a avaliação do canto são obtidos por intermédio de um classificador Bayesiano gerado a partir de avaliações reais, feitas por especialistas em música. Dessa forma, o sistema desenvolvido efetua o mapeamento advindo da opinião de especialistas humanos em um sistema de avaliação automática de solfejo executado por máquina, que é capaz de identificar as notas musicais cantadas pelo aluno em cada instante métrico determinado, devidamente conduzido pelo gesto, sem a necessidade de sincronização por um metrônomo ou manutenção de um andamento fixo.
id URGS_c5c36cdd9ff820ae4f8eb3e854ada3c9
oai_identifier_str oai:www.lume.ufrgs.br:10183/122533
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str 1853
spelling Schramm, RodrigoJung, Claudio Rosito2015-08-15T02:03:56Z2015http://hdl.handle.net/10183/122533000971631O solfejo, em seu conceito mais amplo, é uma técnica usual no processo de ensinoaprendizagem musical, o qual envolve a realização vocal de melodias, considerando as alturas e as durações dos sons musicais registrados em partitura, devidamente associado à marcação de compassos por intermédio de gestos que definem a estrutura métrica e o andamento da peça musical. Este trabalho apresenta uma abordagem audiovisual para avaliação automática dessa prática de estudo pertinente à leitura e à estruturação musicais. O sistema proposto é dividido em três partes. A primeira efetua o reconhecimento visual dos gestos de marcação de compassos realizados pela mão, por intermédio de um classificador probabilístico. Um processo de alinhamento temporal garante o reconhecimento dos padrões de movimento mesmo em casos com variação de andamento, permitindo também a avaliação da precisão rítmica do aluno, quando comparado com um referencial metronômico. A segunda parte deste sistema obtém a transcrição melódica do canto a partir da análise do respectivo sinal de áudio. Os fragmentos melódicos detectados são agrupados e mapeados em relação às notas da partitura do exercício de solfejo, permitindo uma avaliação direta nota-a-nota da performance do canto. Por fim, a terceira parte do sistema proposto faz a integração entre o gesto de marcação de compassos e a transcrição melódica. Nesse caso, o gesto atua como um metrônomo, controlando o fluxo temporal. Assim, a avaliação nota-a-nota do solfejo pode ser empregada também em casos onde exista grande variação no andamento da peça. Tanto o processo de avaliação do gesto de marcação de compassos quanto a avaliação do canto são obtidos por intermédio de um classificador Bayesiano gerado a partir de avaliações reais, feitas por especialistas em música. Dessa forma, o sistema desenvolvido efetua o mapeamento advindo da opinião de especialistas humanos em um sistema de avaliação automática de solfejo executado por máquina, que é capaz de identificar as notas musicais cantadas pelo aluno em cada instante métrico determinado, devidamente conduzido pelo gesto, sem a necessidade de sincronização por um metrônomo ou manutenção de um andamento fixo.Solfége is a general technique used in the music learning process, which involves the vocal performance of melodies, regarding the time and duration of musical sounds as specified in the music score, properly associated the meter-mimicking performed by the hand movement. This thesis presents an audiovisual approach for automatic assessment of this relevant musical study practice. The proposed system is divided into three parts. First, a probabilistic classifier recognizes the musical metric patterns drawn by the hand movement. A time alignment process assures the proper recognition of the movement patterns even in cases where there are changes in the musical tempo. Also, this process allows to estimate the accuracy of the rhythmic performance. In the second part of this work, audio analysis is applied to achieve the melodic transcription of the sung notes. The detected melodic fragments are then grouped and mapped into single notes, which are connected to their related notes on the music score of the solfège exercise. This mapping procedure allows the direct assessment (note by note) of the singing performance, even if there are slight discrepancies between the transcribed notes and the music score. Finally, the last part of the proposed system combines the gesture of meter-mimicking (video information) with the melodic transcription (audio information), where the hand movement works as a metronome, controlling the time flow (tempo) of the musical piece. Thus, the meter-mimicking is used to align the music score (ground truth) with the sung melody, allowing the assessment even in time dynamic scenarios. Both meter-mimicking and sung notes are evaluated by a set of Bayesian classifiers that were generated from real evaluations done by experts listeners. In this way, the developed model performs the mapping of the point of view from human experts into an automatic system which is able to make the solfege assessment, regarding the pitch, onset and duration of the music notes, without the need for external synchronization with a metronome or the maintenance of a fixed tempo.application/pdfporInformática : MúsicaEducação musicalReconhecimento : PadroesProcessamento : SinaisPattern recognitionSignal processingMelodic transcriptionSolfègeAutomatic assessmentMusic educationSistema audio visual para análise de solfejoAudiovisual system for solfège analysis info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2015doutoradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSORIGINAL000971631.pdf000971631.pdfTexto completoapplication/pdf6496082http://www.lume.ufrgs.br/bitstream/10183/122533/1/000971631.pdf4a13d50d3e6df0b17de7defa0ea8b845MD51TEXT000971631.pdf.txt000971631.pdf.txtExtracted Texttext/plain261097http://www.lume.ufrgs.br/bitstream/10183/122533/2/000971631.pdf.txte572d20b5cbc45cf1db5aef98ea3f6b6MD52THUMBNAIL000971631.pdf.jpg000971631.pdf.jpgGenerated Thumbnailimage/jpeg1062http://www.lume.ufrgs.br/bitstream/10183/122533/3/000971631.pdf.jpgb9b391c04c467c02604d5e1be89f6ef9MD5310183/1225332018-10-08 09:30:18.524oai:www.lume.ufrgs.br:10183/122533Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532018-10-08T12:30:18Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Sistema audio visual para análise de solfejo
dc.title.alternative.en.fl_str_mv Audiovisual system for solfège analysis
title Sistema audio visual para análise de solfejo
spellingShingle Sistema audio visual para análise de solfejo
Schramm, Rodrigo
Informática : Música
Educação musical
Reconhecimento : Padroes
Processamento : Sinais
Pattern recognition
Signal processing
Melodic transcription
Solfège
Automatic assessment
Music education
title_short Sistema audio visual para análise de solfejo
title_full Sistema audio visual para análise de solfejo
title_fullStr Sistema audio visual para análise de solfejo
title_full_unstemmed Sistema audio visual para análise de solfejo
title_sort Sistema audio visual para análise de solfejo
author Schramm, Rodrigo
author_facet Schramm, Rodrigo
author_role author
dc.contributor.author.fl_str_mv Schramm, Rodrigo
dc.contributor.advisor1.fl_str_mv Jung, Claudio Rosito
contributor_str_mv Jung, Claudio Rosito
dc.subject.por.fl_str_mv Informática : Música
Educação musical
Reconhecimento : Padroes
Processamento : Sinais
topic Informática : Música
Educação musical
Reconhecimento : Padroes
Processamento : Sinais
Pattern recognition
Signal processing
Melodic transcription
Solfège
Automatic assessment
Music education
dc.subject.eng.fl_str_mv Pattern recognition
Signal processing
Melodic transcription
Solfège
Automatic assessment
Music education
description O solfejo, em seu conceito mais amplo, é uma técnica usual no processo de ensinoaprendizagem musical, o qual envolve a realização vocal de melodias, considerando as alturas e as durações dos sons musicais registrados em partitura, devidamente associado à marcação de compassos por intermédio de gestos que definem a estrutura métrica e o andamento da peça musical. Este trabalho apresenta uma abordagem audiovisual para avaliação automática dessa prática de estudo pertinente à leitura e à estruturação musicais. O sistema proposto é dividido em três partes. A primeira efetua o reconhecimento visual dos gestos de marcação de compassos realizados pela mão, por intermédio de um classificador probabilístico. Um processo de alinhamento temporal garante o reconhecimento dos padrões de movimento mesmo em casos com variação de andamento, permitindo também a avaliação da precisão rítmica do aluno, quando comparado com um referencial metronômico. A segunda parte deste sistema obtém a transcrição melódica do canto a partir da análise do respectivo sinal de áudio. Os fragmentos melódicos detectados são agrupados e mapeados em relação às notas da partitura do exercício de solfejo, permitindo uma avaliação direta nota-a-nota da performance do canto. Por fim, a terceira parte do sistema proposto faz a integração entre o gesto de marcação de compassos e a transcrição melódica. Nesse caso, o gesto atua como um metrônomo, controlando o fluxo temporal. Assim, a avaliação nota-a-nota do solfejo pode ser empregada também em casos onde exista grande variação no andamento da peça. Tanto o processo de avaliação do gesto de marcação de compassos quanto a avaliação do canto são obtidos por intermédio de um classificador Bayesiano gerado a partir de avaliações reais, feitas por especialistas em música. Dessa forma, o sistema desenvolvido efetua o mapeamento advindo da opinião de especialistas humanos em um sistema de avaliação automática de solfejo executado por máquina, que é capaz de identificar as notas musicais cantadas pelo aluno em cada instante métrico determinado, devidamente conduzido pelo gesto, sem a necessidade de sincronização por um metrônomo ou manutenção de um andamento fixo.
publishDate 2015
dc.date.accessioned.fl_str_mv 2015-08-15T02:03:56Z
dc.date.issued.fl_str_mv 2015
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/122533
dc.identifier.nrb.pt_BR.fl_str_mv 000971631
url http://hdl.handle.net/10183/122533
identifier_str_mv 000971631
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/122533/1/000971631.pdf
http://www.lume.ufrgs.br/bitstream/10183/122533/2/000971631.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/122533/3/000971631.pdf.jpg
bitstream.checksum.fl_str_mv 4a13d50d3e6df0b17de7defa0ea8b845
e572d20b5cbc45cf1db5aef98ea3f6b6
b9b391c04c467c02604d5e1be89f6ef9
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1810085330043273216