Interpretação da língua gestual portuguesa

Detalhes bibliográficos
Autor(a) principal: Sousa, Ana Paula de Almeida e
Data de Publicação: 2012
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10451/9045
Resumo: Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012
id RCAP_bdf4916d0331197c6098d5c12f3faa1e
oai_identifier_str oai:repositorio.ul.pt:10451/9045
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Interpretação da língua gestual portuguesaLíngua Gestual PortuguesaLGPKinectReconhecimento de gestosInterpretaçãoSurdoTeses de mestrado - 2012Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012Há em Portugal cerca de 30 mil pessoas que têm como primeira língua, a Língua Gestual Portuguesa (LGP). O Kinect é uma ferramenta de custo acessível que pode ser usado para o reconhecimento e tradução de gestos desta língua para a Língua Portuguesa, usando uma aplicação adequada. Para o reconhecimento de gestos de LGP, efetuados por pessoas distintas, selecionámos um conjunto de features, que considerámos importantes, através de um pré-processamento e extração das características do sinal devolvido pelo Kinect. Suportada por estas características, construímos uma base de dados inicial, apenas com gestos estáticos do alfabeto em LGP, que foi submetida, como um conjunto de treinamento, à plataforma Weka, para construir e testar uma grande variedade de classificadores. Obtivemos um óptimo desempenho, a nível de taxa de sucesso, por dois dos algoritmos. Numa segunda fase, construiu-se um protótipo, utilizando os dois melhores classificadores, capazes de reconhecer, em tempo real, palavras em datilologia (soletragem de palavras). Para isso, usaram-se duas técnicas de coarticulação dos gestos, que consistiram na verificação da estabilização da letra prevista pelo algoritmo, e no uso de regras de construção de palavras da língua portuguesa. Para melhor testar o protótipo utilizaram-se três modos diferentes de interação com o utilizador, o modo “easy” e o “ hard”, vocacionados para o reconhecimento de gestos, e o modo “direct” mais destinado à inserção rápida de gestos em datilologia na base de dados. Por último, o protótipo foi submetido a testes efetuados por pessoas da comunidade surda, e avaliado o seu desempenho em datilologia. Os dois classificadores que obtiveram maior sucesso no reconhecimento de poses estáticas, não se revelaram tão eficazes quanto à datilologia, devido às elevadas exigências da coarticulação. De qualquer forma, estes resultados são uma contribuição significativa lançando nova luz sobre melhorar o reconhecimento de gestos em tempo real e coarticulação.In Portugal there are about 30 thousand people who use Portuguese Sign language (PSL) as their primary language. The Kinect is an affordable tool that can be used to recognize gestures and translate this language into the Portuguese written language, using an appropriate application. For gesture recognition in PSL, with different people, we selected a set of features, we considered important, through a pre-processing and feature extraction of the signal returned by the Kinect. Supported by these characteristics, we constructed an initial database, just with the PSL alphabet gestures, which was submitted as a training set to the WEKA platform in order to build and evaluate a wide range of classifiers. We had a great performance, in terms of success rate, by two of the algorithms. In a second phase, we built a prototype, using these two best classifiers capable of recognizing, in real time, words in dactylology (spelling words). For this, we used two different techniques of gestures co-articulation, which consisted in verifying the stability of the letter provided for by the algorithm, and in using Portuguese lexical rules. To better test the prototype we used three different modes of interaction with the user. “Easy” and “Hard” modes, oriented towards gesture recognition, and “Direct” mode, destinated to a fast insertion of gestures, in dactylology, on the database. Finally, the prototype was submitted to tests with dactylology, performed by people from the deaf community, and it’s performance evaluated. The two classifiers with the greatest success in recognizing isolated static poses, have not proved as effective in a dactylology due to the coarticulation’s high requirements. Anyhow, these results are a significant contribution shedding new light on how to improve real time gesture recognition and coarticulation.Urbano, Paulo Jorge Cunha Vaz Dias, 1965-Repositório da Universidade de LisboaSousa, Ana Paula de Almeida e2013-08-28T15:22:15Z20122012-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10451/9045porinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-11-08T15:53:10Zoai:repositorio.ul.pt:10451/9045Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:33:21.085185Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Interpretação da língua gestual portuguesa
title Interpretação da língua gestual portuguesa
spellingShingle Interpretação da língua gestual portuguesa
Sousa, Ana Paula de Almeida e
Língua Gestual Portuguesa
LGP
Kinect
Reconhecimento de gestos
Interpretação
Surdo
Teses de mestrado - 2012
title_short Interpretação da língua gestual portuguesa
title_full Interpretação da língua gestual portuguesa
title_fullStr Interpretação da língua gestual portuguesa
title_full_unstemmed Interpretação da língua gestual portuguesa
title_sort Interpretação da língua gestual portuguesa
author Sousa, Ana Paula de Almeida e
author_facet Sousa, Ana Paula de Almeida e
author_role author
dc.contributor.none.fl_str_mv Urbano, Paulo Jorge Cunha Vaz Dias, 1965-
Repositório da Universidade de Lisboa
dc.contributor.author.fl_str_mv Sousa, Ana Paula de Almeida e
dc.subject.por.fl_str_mv Língua Gestual Portuguesa
LGP
Kinect
Reconhecimento de gestos
Interpretação
Surdo
Teses de mestrado - 2012
topic Língua Gestual Portuguesa
LGP
Kinect
Reconhecimento de gestos
Interpretação
Surdo
Teses de mestrado - 2012
description Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012
publishDate 2012
dc.date.none.fl_str_mv 2012
2012-01-01T00:00:00Z
2013-08-28T15:22:15Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10451/9045
url http://hdl.handle.net/10451/9045
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134227208339456

Registros relacionados