Tradução automática de línguas de sinais: do sinal para a escrita

• Autor(a) principal: Barros Junior, Jorge Daniel
• Data de Publicação: 2016
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UNIPAMPA
• Texto Completo: http://dspace.unipampa.edu.br/jspui/handle/riu/1612
• topic: Computer science; ELiS (Sign Language writing); SignWriting; Machine learning; Neural networks; Ciência da computação; ELiS (Escrita da língua de Sinais); SignWriting; Aprendizado de máquina; Redes neurais; CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO

O reconhecimento automático de sinais de uma Língua de Sinais (LS) por um computador ainda é um grande desafio. Até o momento, não existia uma conversão automática de sinais para a Escrita de Línguas de Sinais (ELS) na notação em SignWriting (SW). Esses fatores foram os que motivaram o desenvolvimento deste trabalho a fim de encontrar uma solução para esse problema que ainda não havia sido solucionado na literatura. Dessa forma, neste trabalho fizemos o reconhecimento de sinais em imagens de uma LS e convertemos para a escrita de sinais em SW. Mais precisamente, nos concentramos no parâmetro de configuração de mão, que é importante para definir o formato que a mão irá assumir durante a execução de um sinal. Para isso, utilizamos Redes Neurais Artificiais do tipo Convolutional Neural Network (CNN) que é um modelo de aprendizado de máquina que nos possibilitou fazer o reconhecimento dos sinais. Para fazer a captura das imagens, utilizamos o sensor de movimentos Kinect em conjunto com uma aplicação desenvolvida que faz o preprocessamento das imagens. Fizemos o treinamento da CNN com 16 configurações de mão diferentes e obtivemos uma acurácia satisfatória de 87.5%.