Reconhecimento automático de sinais da Libras : desenvolvimento da base de dados MINDS-Libras e modelos de redes convolucionais

• Autor(a) principal: Tamires Martins Rezende
• Data de Publicação: 2021
• Tipo de documento: Tese
• Idioma: por
• Título da fonte: Repositório Institucional da UFMG
• Texto Completo: http://hdl.handle.net/1843/39785; https://orcid.org/0000-0002-5152-2488
• topic: Aprendizado profundo; Redes neurais convolucionais; Reconhecimento automático da Libras; Língua de sinais; Libras; Engenharia elétrica; Aprendizado profundo; Língua brasileira de sinais; Língua de sinais; Redes neurais convolucionais

O reconhecimento automático da Língua de Sinais tem sido um desafio para a área de Inteligência Computacional, dada a natureza visual-gestual que configura esse complexo sistema de comunicação. Esta tese se insere nesse contexto e foca os esforços na língua brasileira de sinais, Libras. Para isso, uma nova base de dados chamada MINDS-Libras foi proposta. Ela contém (i) vídeos em RGB, (ii) vídeos com informação de profundidade, (iii) informações de 25 pontos/juntas do corpo e de (iv) 1347 pontos da face do sinalizador. Cada um dos 20 sinais que compõem essa base foi gravado 5 vezes por 12 sinalizadores, totalizando 1200 amostras. Utilizando esses dados, duas diferentes arquiteturas de Aprendizado Profundo foram propostas para reconhecimento dos sinais da MINDS-Libras. A primeira delas foi uma Rede Neural Convolucional 3D utilizando vídeos e, a segunda, uma Rede Neural Convolucional Temporal para a trajetória manual. A abordagem que apresentou menor sensibilidade à mudança do sinalizador foi aquela cujo dado de entrada era o movimento das mãos, podendo esse ser considerado o parâmetro mais importante para a formação do sinal. Os resultados também indicam que esse tipo de abordagem é viável para o reconhecimento dos sinais da Libras. Novas perspectivas podem ser abertas com a expansão da base de dados e inclusão de mais sinalizadores no processo de gravação de (novos) sinais.