SignPic: sistema móvel para deteção de língua gestual utilizando Machine Learning

• Autor(a) principal: Nogueira, André
• Data de Publicação: 2021
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10284/9571
• topic: Domínio/Área Científica::Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática

O objetivo do trabalho proposto nesta Dissertação assenta na contribuição para colmatar a barreira de comunicação existente entre pessoas que comunicam utilizando a Língua Gestual Portuguesa e pessoas que comunicam utilizando a língua oral. Na língua gestual, a forma, o posicionamento e o movimento das mãos, bem como as expressões faciais e os movimentos corporais, desempenham papéis importantes para as pessoas comunicarem entre si. A motivação subjacente à escolha deste tema, centra-se na dificuldade existente na comunicação entre as pessoas que compreendem e utilizam a Língua Gestual Portuguesa e as pessoas que comunicam apenas em língua oral, impedindo que os gestos em Língua Gestual Portuguesa sejam corretamente compreendidos pelas pessoas ouvintes. Devido a não ter sido encontrado conjunto de dados referentes ao alfabeto da Língua Gestual Portuguesa para utilização no desenvolvimento do sistema, foi utilizado um conjunto de dados relativo ao alfabeto da Língua Gestual Americana. Neste contexto, optou-se por desenvolver uma aplicação que permite identificar e traduzir os gestos em Língua Gestual Americana, efetuados por uma pessoa utilizando uma câmara de vídeo convencional, presente na maioria dos smartphones atuais. Para atingir este objetivo, o software desenvolvido recorreu a técnicas de Inteligência Artificial designadas por Deep Learning. Para o treino do conjunto de dados foi utilizado um modelo pré treinado presente no Zoo de modelos disponibilizados pela biblioteca PyTorch, denominado Mobile- Net v2. A avaliação ao sistema proposto foi efetuada a partir de estatísticas guardadas ao longo dos treinos efetuados a vários modelos classificadores e também, a partir de testes, utilizando a câmara de um iPhone para obter as imagens que posteriormente foram classificadas no mesmo. Concluiu-se que com o sistema desenvolvido, apesar de o classificador ter atingido 99% de acurácia, durante a validação, ainda está longe de ser um sistema capaz de colmatar a barreira de comunicação entre pessoas que comunicam utilizando Língua Gestual Americana e as pessoas que comunicam usando língua oral.