Metodologia baseada em visão computacional e aprendizado de máquina para guiar o projeto de sistemas de comunicação aumentativa e alternativa usando interação gestual personalizada

• Autor(a) principal: Ascari, Rúbia Eliza de Oliveira Schultz
• Data de Publicação: 2020
• Tipo de documento: Tese
• Idioma: por
• Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
• Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/28805
• topic: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; Interação homem-máquina; Aprendizado do computador; Visão por computador; Equipamentos de autoajuda para pessoas com deficiência; Human-computer interation; Machine learning; Computer vision; Self-help devices for people with disabilities; Ciências Exatas

A comunicação verbal é essencial para a socialização, construção e compartilhamento de conhecimento em uma sociedade. Pessoas que apresentam comprometimento de fala podem apresentar dificuldades de interação e aprendizagem, convivência familiar, entre outras situações que podem levar a problemas emocionais, sociais e cognitivos. Muitas vezes, essas pessoas também apresentam comprometimento motor associado, o que dificulta ainda mais sua capacidade de interagir com outras pessoas e com o ambiente em que estão inseridas. A Comunicação Aumentativa e Alternativa (CAA) é uma área de pesquisa que envolve o uso de modos não orais como complemento ou substituto da linguagem falada, aumentando a interação comunicativa de indivíduos sem oralidade. A CAA suportada por sistemas de Visão Computacional (VC) pode se beneficiar do reconhecimento dos movimentos funcionais restantes do usuário como uma abordagem alternativa de design de interação. Nesta tese, é apresentada uma nova metodologia, chamada MyPGI (Methodology to yield Personalized Gestural Interaction), construída para guiar o projeto de sistemas de CAA para pessoas com dificuldades motora e de fala, usando técnicas de VC e Aprendizado de Máquina para possibilitar interação gestual personalizada e não-invasiva. Muitos dos trabalhos existentes na literatura concentram-se em situações e características específicas, oferecendo pouca ou nenhuma flexibilidade para as pessoas com deficiência e seus diferentes contextos de uso, exigindo, portanto, que as pessoas se adaptem ao sistema em vez de adaptar o sistema às diferentes necessidades dos usuários. A metodologia MyPGI foi empregada no desenvolvimento de um sistema de CAA, chamado PGCA (Personal Gesture Communication Assistant), usando uma abordagem de baixo custo, em experimentos conduzidos com voluntários, incluindo alunos com dificuldades motora e de fala. Os resultados obtidos com os experimentos e também com entrevistas e avaliação de usabilidade conduzidas com profissionais da área de educação especial indicam a viabilidade da metodologia proposta e do sistema desenvolvido, além de agregar conhecimento sobre os desafios e necessidades específicas do público-alvo. A principal contribuição científica desta tese é, portanto, a definição da metodologia MyPGI, com o objetivo de promover maior autonomia para usuários de sistemas computacionais que possuem dificuldade motora e de fala e para seus cuidadores. A contribuição tecnológica desta tese se refere à produção de um sistema de CAA como uma forma de aplicação da metodologia proposta.