Tradutor bidirecional de língua gestual portuguesa

• Autor(a) principal: Lopes, Jorge Leonel Borges
• Data de Publicação: 2016
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
• Texto Completo: http://hdl.handle.net/10400.22/11007
• topic: Configurador; Língua gestual; Tradutor; Unity; VirtualSign; Configurator; Sign language; Translator; Sistemas Gráficos e Multimédia

Uma das maiores preocupações da Sociedade é promover a igualdade de oportunidades e a inclusão social. Este é um tópico chave na agenda Europeia, em particular ao nível do Ensino. Apesar do esforço que tem vindo a ser realizado por inúmeros investigadores e instituições, as dificuldades inerentes à comunicação entre ouvintes e surdos continua a ser uma barreira significativa para a inclusão. O elevado ritmo de desenvolvimento da tecnologia assistiva possibilitou o aparecimento recente de várias soluções para promover a inclusão da comunidade surda um pouco por todo o mundo. No entanto, no que respeita à língua gestual portuguesa, as soluções atualmente disponíveis são ineficientes e não cobrem as necessidades da comunidade. A criação de um tradutor bidirecional entre português escrito e língua gestual portuguesa permitirá uma comunicação mais fluída e eficiente entre ouvintes e surdos, gerando igualdade de oportunidades e promovendo a inclusão da comunidade surda na sociedade. O objetivo desta tese consiste na promoção da inclusão social da comunidade surda, tornando a comunicação entre surdos e ouvintes mais eficaz. O tradutor automático desenvolvido neste trabalho, denominado VirtualSign, tem capacidade para traduzir gestos em texto e texto em gestos usando um modelo de tradução desenvolvido especificamente para o efeito. O tradutor de gestos para texto utiliza um par de luvas de dados com 14 sensores para reconhecimento da configuração manual e o Kinect para reconhecer os movimentos corporais efetuados pelo utilizador. Os sinais recebidos destes dispositivos são convertidos num modelo de tradução que alimenta um componente de aprendizagem automática para identificar os gestos que estão a ser produzidos. A tradução de texto para gestos utiliza um avatar 3D criado para reproduzir as animações que representam o texto a traduzir. Estas animações representam palavras e expressões da língua portuguesa de sinais que são armazenadas numa base de dados. Um dos aspetos inovadores deste trabalho consiste no facto destas animações serem modeladas com recurso a uma linguagem de scripting o que reduz significativamente o espaço. Esta característica torna possível a utilização do sistema de tradução em dispositivos móveis e em outros contextos em que o espaço de armazenamento seja um aspeto crítico. Para apoiar os surdos e intérpretes de língua gestual a carregar a base de dados de gestos com animações for desenvolvido o VirtualSign Studio; uma aplicação de apoio à configuração de gestos em quaisquer línguas ou dialeto e a geração automática dos scripts correspondentes através da manipulação direta do avatar, ou seja, sem necessidade de conhecimentos técnicos da área informática. Este sistema de configuração está a ser utilizado por uma equipa de surdos e intérpretes de vários países incluindo: Portugal, Brasil, Alemanha, Reino Unido, Eslovénia, Grécia e Chipre. O sistema de tradução VirtualSign está em fase de pré-produção estando a ser desenvolvidas várias aplicações para o dia-a-dia que a breve trecho estarão disponíveis para o público.