Tradução automática de língua gestual a partir de vídeo: hand tracking

• Autor(a) principal: Vieira, Jorge Miguel da Silva
• Data de Publicação: 2020
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10400.22/16904
• topic: Automatic translation; Video; Research; Sign Language; Classification Models

Atualmente existem bastante dificuldade na comunicação entre a comunidade surda com a restante sociedade. Se esta comunidade tivesse, através de uma aplicação, a possibilidade de comunicação sem que seja necessário aprender língua gestual, um leque de novas oportunidades iria surgir, tanto a nível do mundo profissional, como a nível social. Apesar de já existirem formas de comunicação entre a comunidade surda e ouvinte, estas são, no entanto, bastante complicadas e dispendiosas. É necessário o uso de luvas ou outro tipo de ferramenta externa o que dificulta o acesso e a utilização de tal tecnologia. Esta dissertação tem como objetivo melhorar a inclusão social e a comunicação das pessoas surdas com recurso à tradução de língua gestual para língua oral através de um vídeo, com o mínimo recurso a ferramentas externas. É necessário que o acesso à aplicação seja fácil e acessível em vários dispositivos, para isso a aplicação foi hospedada num website, para que possa ser acedida tanto no computador, como num dispositivo móvel, de forma a prever os movimentos realizados pelo utilizador. No entanto, é necessário primeiramente captar os movimentos e treiná-los com ajuda de modelos de classificação. Finalmente, foram realizados testes de forma a concluir se certas características favoreciam os modelos de classificação utilizados e quais destes contêm uma com maior precisão no acerto das palavras ou frases. Os resultados obtidos foram satisfatórios, o uso da previsão da configuração da mão provou ser eficaz e aumentar a precisão. Este projeto contribui para identificar que o uso de características como a configuração de mão durante a gravação, podem ser significativos, aumentando a precisão, bem como quais os modelos de classificação mais indicados para a previsão de palavras/gestos, ampliando assim a possibilidade e a probabilidade da existência de uma aplicação de fácil acesso sem recurso a ferramentas externas para a integração da comunidade surda.