Sistema de tradução da língua gestual Portuguesa em tempo real

• Autor(a) principal: Ferreira, Sara Cristina Martins
• Data de Publicação: 2019
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10071/22215
• topic: Língua gestual portuguesa; Sistema wireless; Reconhecimento de gestos; Interação homem-máquina; Protocolo de comunicação; Machine learning; Android; Portuguese sign language; Wireless system; Gesture recognition; Human-computer interaction; Communication protocol

O avanço na área da saúde só é possível graças ao avanço da tecnologia. Novos conceitos e sistemas permitem melhorar a qualidade de vida das pessoas. Os sistemas de reconhecimento de gestos são um dos campos procedentes do avanço da tecnologia. Não só tem aplicação na área da saúde mas também em áreas como a realidade virtual, industria automóvel, e outras tantas. O objetivo deste trabalho era criar um sistema wireless e low-cost de reconhecimento de gestos, capaz de traduzir Língua Gestual Portuguesa para Língua Portuguesa. Este projeto teve um âmbito mais restrito, na medida em que se foca no alfabeto português. O sistema é composto por uma rede de sensores implementada numa luva através de fios condutores e snaps. Ao ser utilizada, a luva faz a leitura da posição dos dedos assim como da direção da mão em tempo real. Esta informação é dada por sensores de flexão baseados em velostat e pelo acelerómetro, respetivamente. A informação recolhida pela luva, que caracteriza o gesto, é então enviada para a aplicação móvel pelo protocolo de comunicação Bluetooth. Este protocolo tem a vantagem de ser wireless e de não necessitar da conexão do dispositivo móvel à Internet para comunicar. A leitura desta informação em conjunto com o k-Nearest Neighbors, algoritmo de aprendizagem supervisionada que se baseia na similaridade dos dados que caracterizam o gesto feito em tempo real com os dados que classificam cada letra do alfabeto, permite ao sistema fazer a tradução de Língua Gestual Portuguesa para a Língua Portuguesa. Esta tradução é posteriormente visualizada numa aplicação móvel. Com o sistema desenvolvido foi atingida uma taxa de acerto quando utilizado o k-Nearest Neighbors de 93.31% e 89.66%, e de 78.27% e 71.16% quando utilizadas as Redes Neuronais, para uma pessoa com conhecimento em Língua Gestual Portuguesa e para uma pessoa sem conhecimento em Língua Gestual Portuguesa, respetivamente.