Metodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada

Detalhes bibliográficos
Autor(a) principal: Ascari, Rúbia Eliza de Oliveira Schultz
Data de Publicação: 2020
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UFPR
Texto Completo: https://hdl.handle.net/1884/69184
Resumo: Orientador: Luciano Silva
id UFPR_0745673160113762f2e9c94649b10f11
oai_identifier_str oai:acervodigital.ufpr.br:1884/69184
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str 308
spelling Ascari, Rúbia Eliza de Oliveira SchultzPereira, Roberto, 1983-Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaSilva, Luciano, 1974-2021-12-16T11:11:36Z2021-12-16T11:11:36Z2020https://hdl.handle.net/1884/69184Orientador: Luciano SilvaCoorientador: Roberto PereiraTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 19/06/2020Inclui referências: p. 139-160Área de concentração: Ciência da ComputaçãoResumo: A comunicação verbal é essencial para a socialização, construção e compartilhamento de conhecimento em uma sociedade. Pessoas que apresentam comprometimento de fala podem apresentar dificuldades de interação e aprendizagem, convivência familiar, entre outras situações que podem levar a problemas emocionais, sociais e cognitivos. Muitas vezes, essas pessoas também apresentam comprometimento motor associado, o que dificulta ainda mais sua capacidade de interagir com outras pessoas e com o ambiente em que estão inseridas. A Comunicação Aumentativa e Alternativa (CAA) é uma área de pesquisa que envolve o uso de modos não orais como complemento ou substituto da linguagem falada, aumentando a interação comunicativa de indivíduos sem oralidade. A CAA suportada por sistemas de Visão Computacional (VC) pode se beneficiar do reconhecimento dos movimentos funcionais restantes do usuário como uma abordagem alternativa de design de interação. Nesta tese, é apresentada uma nova metodologia, chamada MyPGI (Methodology to yield Personalized Gestural Interaction), construída para guiar o projeto de sistemas de CAA para pessoas com dificuldades motora e de fala, usando técnicas de VC e Aprendizado de Máquina para possibilitar interação gestual personalizada e não-invasiva. Muitos dos trabalhos existentes na literatura concentram-se em situações e características específicas, oferecendo pouca ou nenhuma flexibilidade para as pessoas com deficiência e seus diferentes contextos de uso, exigindo, portanto, que as pessoas se adaptem ao sistema em vez de adaptar o sistema às diferentes necessidades dos usuários. A metodologia MyPGI foi empregada no desenvolvimento de um sistema de CAA, chamado PGCA (Personal Gesture Communication Assistant), usando uma abordagem de baixo custo, em experimentos conduzidos com voluntários, incluindo alunos com dificuldades motora e de fala. Os resultados obtidos com os experimentos e também com entrevistas e avaliação de usabilidade conduzidas com profissionais da área de educação especial indicam a viabilidade da metodologia proposta e do sistema desenvolvido, além de agregar conhecimento sobre os desafios e necessidades específicas do público-alvo. A principal contribuição científica desta tese é, portanto, a definição da metodologia MyPGI, com o objetivo de promover maior autonomia para usuários de sistemas computacionais que possuem dificuldade motora e de fala e para seus cuidadores. A contribuição tecnológica desta tese se refere à produção de um sistema de CAA como uma forma de aplicação da metodologia proposta. Palavras-chave: Visão Computacional, Interação Humano-Computador, Comunicação Aumentativa e Alternativa, Tecnologia Assistiva, Aprendizado de MáquinaAbstract: Verbal communication is essential for socialization, building and sharing knowledge in society. People with speech impairment may experience difficulties in interaction and learning, family life, among other situations that can lead to emotional, social, and cognitive problems. Often, these people also have associated motor impairment, which further hinders their ability to interact with other people and the environment in which they are inserted. Augmentative and Alternative Communication (AAC) is a research area that involves the use of non-oral modes as a complement or substitute for spoken language, increasing the communicative interaction of individuals without orality. The AAC supported by Computer Vision (CV) systems can benefit from the recognition of the user's remaining functional movements as an alternative design approach to interaction. In this thesis, a new methodology, named MyPGI (Methodology to yield Personalized Gestural Interaction), is presented, built to guide the design of AAC systems for people with motor and speech difficulties, using CV techniques and Machine Learning to enable personalized and non-invasive gestural interaction. Many of the works in the literature focus on specific situations and characteristics, offering little or no flexibility for people with disabilities and their different contexts of use, thus requiring people to adapt to the system instead of adjusting the system to different user needs. The MyPGI methodology was used in the development of an AAC system, named PGCA (Personal Gesture Communication Assistant), employing a low-cost approach, in experiments conducted with volunteers, including students with motor and speech difficulties. The results obtained with the experiments and also with interviews and usability evaluation conducted with professionals from the Special Education area indicate the feasibility of the proposed methodology and the system developed, in addition to adding knowledge about the specific challenges and needs of the target audience. The main scientific contribution of this thesis is, therefore, the definition of the MyPGI methodology, to promote greater autonomy for users of computer systems that have motor and speech difficulties and for their caregivers. The technological contribution of this thesis refers to the production of an AAC system as a way of applying the proposed methodology. Keywords: Computer Vision, Human-Computer Interaction, Augmentative and Alternative Communication, Assistive Technology, Machine learning160 p. : PDF.application/pdfInteração homem-máquinaAprendizado do computadorCiência da ComputaçãoMetodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizadainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisporreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - T - RUBIA ELIZA DE OLIVEIRA SCHULTZ ASCARI.pdfapplication/pdf9746776https://acervodigital.ufpr.br/bitstream/1884/69184/1/R%20-%20T%20-%20RUBIA%20ELIZA%20DE%20OLIVEIRA%20SCHULTZ%20ASCARI.pdfcd6641569e3fbd7b022c2bc701604408MD51open access1884/691842021-12-16 08:11:36.199open accessoai:acervodigital.ufpr.br:1884/69184Repositório de PublicaçõesPUBhttp://acervodigital.ufpr.br/oai/requestopendoar:3082021-12-16T11:11:36Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Metodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada
title Metodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada
spellingShingle Metodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada
Ascari, Rúbia Eliza de Oliveira Schultz
Interação homem-máquina
Aprendizado do computador
Ciência da Computação
title_short Metodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada
title_full Metodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada
title_fullStr Metodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada
title_full_unstemmed Metodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada
title_sort Metodologia baseada em visão computacional e aprendizagem de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada
author Ascari, Rúbia Eliza de Oliveira Schultz
author_facet Ascari, Rúbia Eliza de Oliveira Schultz
author_role author
dc.contributor.other.pt_BR.fl_str_mv Pereira, Roberto, 1983-
Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.author.fl_str_mv Ascari, Rúbia Eliza de Oliveira Schultz
dc.contributor.advisor1.fl_str_mv Silva, Luciano, 1974-
contributor_str_mv Silva, Luciano, 1974-
dc.subject.por.fl_str_mv Interação homem-máquina
Aprendizado do computador
Ciência da Computação
topic Interação homem-máquina
Aprendizado do computador
Ciência da Computação
description Orientador: Luciano Silva
publishDate 2020
dc.date.issued.fl_str_mv 2020
dc.date.accessioned.fl_str_mv 2021-12-16T11:11:36Z
dc.date.available.fl_str_mv 2021-12-16T11:11:36Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/69184
url https://hdl.handle.net/1884/69184
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 160 p. : PDF.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/69184/1/R%20-%20T%20-%20RUBIA%20ELIZA%20DE%20OLIVEIRA%20SCHULTZ%20ASCARI.pdf
bitstream.checksum.fl_str_mv cd6641569e3fbd7b022c2bc701604408
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv
_version_ 1801860871761166336

Registros relacionados