Integrando sensores para a criação de instrumentos musicais digitais

Detalhes bibliográficos
Autor(a) principal: SILVA, Eduardo Santos
Data de Publicação: 2015
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFPE
Texto Completo: https://repositorio.ufpe.br/handle/123456789/26270
Resumo: Nos últimos anos, novas tecnologias de interface gestual emergiram com os lançamentos de eletrônicos como smartphones, tablets e controladores de videogames como o Nintendo Wii Remote© e o Microsoft Kinect©. O surgimento dessas novas interfaces proporcionou o crescimento em pesquisas na área de Interface Humano-Computador (HCI). Particularmente na área de Computação Musical, essas tecnologias oferecem a possibilidade de criação de novos Instrumentos Musicais Digitais (DMIs). Entretanto, apesar do grande número de demonstrações de DMIs (presentes em sites de compartilhamento de vídeos), os resultados da avaliação formal destas tecnologias muitas vezes não condizem com o que é apresentado ao público. Diversos trabalhos acadêmicos relatam grandes restrições de algumas dessas tecnologias de interface gestual, entre eles o reconhecimento de nuances gestuais, latência no sistema e ausência de feedback háptico. Estes são obstáculos na construção de um DMI que possa ser utilizado pelo público profissional. Neste contexto, este projeto busca avaliar novas tecnologias de interface gestual para analisar a capacidade de capturar as nuances gestuais visando aprimorar a expressividade musical destes instrumentos e solucionar problemas encontrados em pesquisas anteriores. Em particular, exploramos a ideia de integração de sensores como forma de proporcionar a captura de nuances expressivas a um baixo custo de desenvolvimento. Para testar e aprimorar esta abordagem, foi desenvolvido um DMI que busca simular um instrumento de percussão que integra 3 sensores: Leap Motion©, sensor piezoeléctrico e um sensor de pressão FSR. Tal DMI foi desenvolvido seguindo a filosofia de design iterativo que envolve as etapas de inspiração, investigação, ideação, prototipação e avaliação do artefato. Também seguimos os princípios do design centrado no usuário que procura solução para os problemas de uma determinada área a partir do conhecimento das pessoas que estão inseridas naquele contexto. Os protótipos desenvolvidos foram avaliados de forma quantitativa, investigando a capacidade do sistema de solucionar os problemas encontrados em trabalhos anteriores. Além disso, o instrumento foi apresentado a um músico profissional, de forma a coletar informações complementares sobre a experiência do usuário. Os resultados mostram que a abordagem de integração de múltiplos sensores apresenta um grande potencial (com baixo custo de implementação) para reconhecimento de nuances de expressividade e apresentando baixa latência, que podem contribuir no desenvolvimento de DMIs expressivos. Todavia, novos avanços nessa área ainda podem contribuir para a resolução de todos os problemas levantados durante a análise da literatura.
id UFPE_bf3a6edeca5360d4642192d425243e9c
oai_identifier_str oai:repositorio.ufpe.br:123456789/26270
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str 2221
spelling SILVA, Eduardo Santoshttp://lattes.cnpq.br/0239955961914173http://lattes.cnpq.br/9783292465422902RAMALHO, Geber LisboaCABRAL, Giordano Ribeiro Eulálio2018-09-05T22:33:01Z2018-09-05T22:33:01Z2015-08-21https://repositorio.ufpe.br/handle/123456789/26270Nos últimos anos, novas tecnologias de interface gestual emergiram com os lançamentos de eletrônicos como smartphones, tablets e controladores de videogames como o Nintendo Wii Remote© e o Microsoft Kinect©. O surgimento dessas novas interfaces proporcionou o crescimento em pesquisas na área de Interface Humano-Computador (HCI). Particularmente na área de Computação Musical, essas tecnologias oferecem a possibilidade de criação de novos Instrumentos Musicais Digitais (DMIs). Entretanto, apesar do grande número de demonstrações de DMIs (presentes em sites de compartilhamento de vídeos), os resultados da avaliação formal destas tecnologias muitas vezes não condizem com o que é apresentado ao público. Diversos trabalhos acadêmicos relatam grandes restrições de algumas dessas tecnologias de interface gestual, entre eles o reconhecimento de nuances gestuais, latência no sistema e ausência de feedback háptico. Estes são obstáculos na construção de um DMI que possa ser utilizado pelo público profissional. Neste contexto, este projeto busca avaliar novas tecnologias de interface gestual para analisar a capacidade de capturar as nuances gestuais visando aprimorar a expressividade musical destes instrumentos e solucionar problemas encontrados em pesquisas anteriores. Em particular, exploramos a ideia de integração de sensores como forma de proporcionar a captura de nuances expressivas a um baixo custo de desenvolvimento. Para testar e aprimorar esta abordagem, foi desenvolvido um DMI que busca simular um instrumento de percussão que integra 3 sensores: Leap Motion©, sensor piezoeléctrico e um sensor de pressão FSR. Tal DMI foi desenvolvido seguindo a filosofia de design iterativo que envolve as etapas de inspiração, investigação, ideação, prototipação e avaliação do artefato. Também seguimos os princípios do design centrado no usuário que procura solução para os problemas de uma determinada área a partir do conhecimento das pessoas que estão inseridas naquele contexto. Os protótipos desenvolvidos foram avaliados de forma quantitativa, investigando a capacidade do sistema de solucionar os problemas encontrados em trabalhos anteriores. Além disso, o instrumento foi apresentado a um músico profissional, de forma a coletar informações complementares sobre a experiência do usuário. Os resultados mostram que a abordagem de integração de múltiplos sensores apresenta um grande potencial (com baixo custo de implementação) para reconhecimento de nuances de expressividade e apresentando baixa latência, que podem contribuir no desenvolvimento de DMIs expressivos. Todavia, novos avanços nessa área ainda podem contribuir para a resolução de todos os problemas levantados durante a análise da literatura.CNPqIn recent years, new gestural interface technologies emerged after the release of consumer electronics such as smartphones, tablets and videogame controllers like the Nintendo Wii Remote© and Microsoft Kinect©. The rise of these new interfaces provided the growth in the Human-Computer Interaction (HCI) research field. Particularly in the Computer Music area, those technologies offer the possibility of creating new Digital Music Instruments (DMIs). However, despite the wide number of DMI demonstrations (available at video sharing websites), the findings from the formal evaluation of these technologies are not consistent with what is presented to the public. Several academic research describe the limitations of some of these gestural interface Technologies, including the tracking of gestural nuances, system latency and the lack of haptic feedback which become obstacles in developing a DMI for professional musicians. In that context, this project aims to evaluate new gestural interface technologies to investigate their capabilities to capture gestural nuances in order to enhance their musical expressivity and solve those problems found in previous research. Particularly, we explore the idea of multisensor integration as an approach to achieve gestural nuance tracking at low implementation cost. To test and enhance this approach, a DMI that simulates an acoustic percussion instrument was implemented integrating 3 sensors: the Leap Motion Controller©, a piezoelectric element and a FSR pressure sensor. This DMI was implemented following a philosophy of iterative design which involves the steps of inspiration, investigation, ideation, prototyping and evaluation of the artifact. It was also used a user-centered design approach which follows the principle that the solution of the problems of a certain area emerges from the knowledge of the people inserted in that context. The developed prototypes were evaluated following a quantitative approach, to investigate the system capabilities to solve problems found in previous research. Moreover, the instrument was presented to an professional musician to gather complementary information on the user’s experience. The findings show that the multisensor integration approach presents great potential (with low implementation cost) to capture nuances of expression and providing low latency, that can contribute to the development of expressive DMIs. However, new advances in this field of research can contribute to solve the problems found during the literature review.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilAttribution-NonCommercial-NoDerivs 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência artificialComputação musicalIntegrando sensores para a criação de instrumentos musicais digitaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETHUMBNAILDISSERTAÇÃO Eduardo Santos Silva.pdf.jpgDISSERTAÇÃO Eduardo Santos Silva.pdf.jpgGenerated Thumbnailimage/jpeg1264https://repositorio.ufpe.br/bitstream/123456789/26270/6/DISSERTA%c3%87%c3%83O%20Eduardo%20Santos%20Silva.pdf.jpg9798d641bdbd1547f37c123b37260604MD56ORIGINALDISSERTAÇÃO Eduardo Santos Silva.pdfDISSERTAÇÃO Eduardo Santos Silva.pdfapplication/pdf3621665https://repositorio.ufpe.br/bitstream/123456789/26270/1/DISSERTA%c3%87%c3%83O%20Eduardo%20Santos%20Silva.pdf2c3ee25333f7c84e1c39a173cc05a849MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-82311https://repositorio.ufpe.br/bitstream/123456789/26270/3/license.txt4b8a02c7f2818eaf00dcf2260dd5eb08MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/26270/4/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD54TEXTDISSERTAÇÃO Eduardo Santos Silva.pdf.txtDISSERTAÇÃO Eduardo Santos Silva.pdf.txtExtracted texttext/plain265653https://repositorio.ufpe.br/bitstream/123456789/26270/5/DISSERTA%c3%87%c3%83O%20Eduardo%20Santos%20Silva.pdf.txtf98d451e06faf7d58371ba094bf6b065MD55123456789/262702019-10-26 02:07:16.073oai:repositorio.ufpe.br:123456789/26270TGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKClRvZG8gZGVwb3NpdGFudGUgZGUgbWF0ZXJpYWwgbm8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgKFJJKSBkZXZlIGNvbmNlZGVyLCDDoCBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIChVRlBFKSwgdW1hIExpY2Vuw6dhIGRlIERpc3RyaWJ1acOnw6NvIE7Do28gRXhjbHVzaXZhIHBhcmEgbWFudGVyIGUgdG9ybmFyIGFjZXNzw612ZWlzIG9zIHNldXMgZG9jdW1lbnRvcywgZW0gZm9ybWF0byBkaWdpdGFsLCBuZXN0ZSByZXBvc2l0w7NyaW8uCgpDb20gYSBjb25jZXNzw6NvIGRlc3RhIGxpY2Vuw6dhIG7Do28gZXhjbHVzaXZhLCBvIGRlcG9zaXRhbnRlIG1hbnTDqW0gdG9kb3Mgb3MgZGlyZWl0b3MgZGUgYXV0b3IuCl9fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXwoKTGljZW7Dp2EgZGUgRGlzdHJpYnVpw6fDo28gTsOjbyBFeGNsdXNpdmEKCkFvIGNvbmNvcmRhciBjb20gZXN0YSBsaWNlbsOnYSBlIGFjZWl0w6EtbGEsIHZvY8OqIChhdXRvciBvdSBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMpOgoKYSkgRGVjbGFyYSBxdWUgY29uaGVjZSBhIHBvbMOtdGljYSBkZSBjb3B5cmlnaHQgZGEgZWRpdG9yYSBkbyBzZXUgZG9jdW1lbnRvOwpiKSBEZWNsYXJhIHF1ZSBjb25oZWNlIGUgYWNlaXRhIGFzIERpcmV0cml6ZXMgcGFyYSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGUEU7CmMpIENvbmNlZGUgw6AgVUZQRSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZGUgYXJxdWl2YXIsIHJlcHJvZHV6aXIsIGNvbnZlcnRlciAoY29tbyBkZWZpbmlkbyBhIHNlZ3VpciksIGNvbXVuaWNhciBlL291IGRpc3RyaWJ1aXIsIG5vIFJJLCBvIGRvY3VtZW50byBlbnRyZWd1ZSAoaW5jbHVpbmRvIG8gcmVzdW1vL2Fic3RyYWN0KSBlbSBmb3JtYXRvIGRpZ2l0YWwgb3UgcG9yIG91dHJvIG1laW87CmQpIERlY2xhcmEgcXVlIGF1dG9yaXphIGEgVUZQRSBhIGFycXVpdmFyIG1haXMgZGUgdW1hIGPDs3BpYSBkZXN0ZSBkb2N1bWVudG8gZSBjb252ZXJ0w6otbG8sIHNlbSBhbHRlcmFyIG8gc2V1IGNvbnRlw7pkbywgcGFyYSBxdWFscXVlciBmb3JtYXRvIGRlIGZpY2hlaXJvLCBtZWlvIG91IHN1cG9ydGUsIHBhcmEgZWZlaXRvcyBkZSBzZWd1cmFuw6dhLCBwcmVzZXJ2YcOnw6NvIChiYWNrdXApIGUgYWNlc3NvOwplKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBzdWJtZXRpZG8gw6kgbyBzZXUgdHJhYmFsaG8gb3JpZ2luYWwgZSBxdWUgZGV0w6ltIG8gZGlyZWl0byBkZSBjb25jZWRlciBhIHRlcmNlaXJvcyBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2Ugb3MgZGlyZWl0b3MgZGUgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlOwpmKSBEZWNsYXJhIHF1ZSwgbm8gY2FzbyBkbyBkb2N1bWVudG8gc3VibWV0aWRvIGNvbnRlciBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zIGRlCmF1dG9yLCBvYnRldmUgYSBhdXRvcml6YcOnw6NvIGlycmVzdHJpdGEgZG8gcmVzcGVjdGl2byBkZXRlbnRvciBkZXNzZXMgZGlyZWl0b3MgcGFyYSBjZWRlciDDoApVRlBFIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgTGljZW7Dp2EgZSBhdXRvcml6YXIgYSB1bml2ZXJzaWRhZGUgYSB1dGlsaXrDoS1sb3MgbGVnYWxtZW50ZS4gRGVjbGFyYSB0YW1iw6ltIHF1ZSBlc3NlIG1hdGVyaWFsIGN1am9zIGRpcmVpdG9zIHPDo28gZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3UgY29udGXDumRvIGRvIGRvY3VtZW50byBlbnRyZWd1ZTsKZykgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgw6kgYmFzZWFkbyBlbSB0cmFiYWxobyBmaW5hbmNpYWRvIG91IGFwb2lhZG8gcG9yIG91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVRlBFLMKgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgpBIFVGUEUgaWRlbnRpZmljYXLDoSBjbGFyYW1lbnRlIG8ocykgbm9tZShzKSBkbyhzKSBhdXRvciAoZXMpIGRvcyBkaXJlaXRvcyBkbyBkb2N1bWVudG8gZW50cmVndWUgZSBuw6NvIGZhcsOhIHF1YWxxdWVyIGFsdGVyYcOnw6NvLCBwYXJhIGFsw6ltIGRvIHByZXZpc3RvIG5hIGFsw61uZWEgYykuCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212019-10-26T05:07:16Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Integrando sensores para a criação de instrumentos musicais digitais
title Integrando sensores para a criação de instrumentos musicais digitais
spellingShingle Integrando sensores para a criação de instrumentos musicais digitais
SILVA, Eduardo Santos
Inteligência artificial
Computação musical
title_short Integrando sensores para a criação de instrumentos musicais digitais
title_full Integrando sensores para a criação de instrumentos musicais digitais
title_fullStr Integrando sensores para a criação de instrumentos musicais digitais
title_full_unstemmed Integrando sensores para a criação de instrumentos musicais digitais
title_sort Integrando sensores para a criação de instrumentos musicais digitais
author SILVA, Eduardo Santos
author_facet SILVA, Eduardo Santos
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/0239955961914173
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/9783292465422902
dc.contributor.author.fl_str_mv SILVA, Eduardo Santos
dc.contributor.advisor1.fl_str_mv RAMALHO, Geber Lisboa
dc.contributor.advisor-co1.fl_str_mv CABRAL, Giordano Ribeiro Eulálio
contributor_str_mv RAMALHO, Geber Lisboa
CABRAL, Giordano Ribeiro Eulálio
dc.subject.por.fl_str_mv Inteligência artificial
Computação musical
topic Inteligência artificial
Computação musical
description Nos últimos anos, novas tecnologias de interface gestual emergiram com os lançamentos de eletrônicos como smartphones, tablets e controladores de videogames como o Nintendo Wii Remote© e o Microsoft Kinect©. O surgimento dessas novas interfaces proporcionou o crescimento em pesquisas na área de Interface Humano-Computador (HCI). Particularmente na área de Computação Musical, essas tecnologias oferecem a possibilidade de criação de novos Instrumentos Musicais Digitais (DMIs). Entretanto, apesar do grande número de demonstrações de DMIs (presentes em sites de compartilhamento de vídeos), os resultados da avaliação formal destas tecnologias muitas vezes não condizem com o que é apresentado ao público. Diversos trabalhos acadêmicos relatam grandes restrições de algumas dessas tecnologias de interface gestual, entre eles o reconhecimento de nuances gestuais, latência no sistema e ausência de feedback háptico. Estes são obstáculos na construção de um DMI que possa ser utilizado pelo público profissional. Neste contexto, este projeto busca avaliar novas tecnologias de interface gestual para analisar a capacidade de capturar as nuances gestuais visando aprimorar a expressividade musical destes instrumentos e solucionar problemas encontrados em pesquisas anteriores. Em particular, exploramos a ideia de integração de sensores como forma de proporcionar a captura de nuances expressivas a um baixo custo de desenvolvimento. Para testar e aprimorar esta abordagem, foi desenvolvido um DMI que busca simular um instrumento de percussão que integra 3 sensores: Leap Motion©, sensor piezoeléctrico e um sensor de pressão FSR. Tal DMI foi desenvolvido seguindo a filosofia de design iterativo que envolve as etapas de inspiração, investigação, ideação, prototipação e avaliação do artefato. Também seguimos os princípios do design centrado no usuário que procura solução para os problemas de uma determinada área a partir do conhecimento das pessoas que estão inseridas naquele contexto. Os protótipos desenvolvidos foram avaliados de forma quantitativa, investigando a capacidade do sistema de solucionar os problemas encontrados em trabalhos anteriores. Além disso, o instrumento foi apresentado a um músico profissional, de forma a coletar informações complementares sobre a experiência do usuário. Os resultados mostram que a abordagem de integração de múltiplos sensores apresenta um grande potencial (com baixo custo de implementação) para reconhecimento de nuances de expressividade e apresentando baixa latência, que podem contribuir no desenvolvimento de DMIs expressivos. Todavia, novos avanços nessa área ainda podem contribuir para a resolução de todos os problemas levantados durante a análise da literatura.
publishDate 2015
dc.date.issued.fl_str_mv 2015-08-21
dc.date.accessioned.fl_str_mv 2018-09-05T22:33:01Z
dc.date.available.fl_str_mv 2018-09-05T22:33:01Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/26270
url https://repositorio.ufpe.br/handle/123456789/26270
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivs 3.0 Brazil
http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/26270/6/DISSERTA%c3%87%c3%83O%20Eduardo%20Santos%20Silva.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/26270/1/DISSERTA%c3%87%c3%83O%20Eduardo%20Santos%20Silva.pdf
https://repositorio.ufpe.br/bitstream/123456789/26270/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/26270/4/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/26270/5/DISSERTA%c3%87%c3%83O%20Eduardo%20Santos%20Silva.pdf.txt
bitstream.checksum.fl_str_mv 9798d641bdbd1547f37c123b37260604
2c3ee25333f7c84e1c39a173cc05a849
4b8a02c7f2818eaf00dcf2260dd5eb08
e39d27027a6cc9cb039ad269a5db8e34
f98d451e06faf7d58371ba094bf6b065
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1802310692170104832