Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à Kinect

Detalhes bibliográficos
Autor(a) principal: Ribeiro, Patrícia Reis
Data de Publicação: 2019
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/1822/72165
Resumo: Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores
id RCAP_0a49867a9993a19f32b381526a72ec54
oai_identifier_str oai:repositorium.sdum.uminho.pt:1822/72165
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à KinectPortuguese Sign Language Recognition System using KinectInceptionKinectLíngua gestual portuguesa (LGP)MachineLearningTensorflowMachine learningPortuguese sign language (PSL)Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e InformáticaDissertação de mestrado integrado em Engenharia Eletrónica Industrial e ComputadoresEste trabalho apresenta a possibilidade de criar um tradutor de Língua Gestual Portuguesa, LGP, com recurso à Kinect versão 2 e utilizando a biblioteca open source Tensorflow. Com o crescimento que Machine Learning tem trazido para a sociedade nos últimos anos é importante testar novas vias que possam proporcionar uma melhor qualidade de vida para toda a sociedade. Língua Gestual, neste caso LGP, fornece um conjunto de elementos que ainda não foram suficientemente testados em Machine Learning. Este projeto surgiu com a ideia de testar se era possível criar um tradutor de LGP e de saber se a Kinect, com a sua possibilidade de detetar o esqueleto humano poderia contribuir para tornar esse tradutor mais robusto e com melhores resultados. O resultado final é uma base de dados preliminar e uma interface capaz de analisar as imagens recolhidas. A Kinect provou não ser fiável o suficiente para entregar bons resultados em LGP, mas Machine Learning conseguiu mostrar que apenas com uma câmara normal é possível treinar uma base de dados para produzir resultados positivos. A biblioteca Tensorflow permitiu acesso ao modelo Inception, que vem pré-treinado com outras classes e utiliza o conhecimento dessas para o aplicar na base de dados deste projeto, isto permite que esta não tenha que ser demasiado grande, nem que o treino demore muito. No final, os resultados obtidos foram satisfatórios e por isso pode-se continuar a testar e aumentar a base de dados existente de modo a tentar incorporar todos os gestos que fazem parte de LGP, sendo que LGP é uma Língua complexa que incorpora não só mãos, como também braços, tronco e expressões faciais.This paper presents the possibility of creating a Portuguese Sign Language (PSL) Translator using Kinect version 2 and using an open source library, Tensorflow. With the growth that Machine Learning has brought to the society in recent years, it is important to test new paths that can offer a better quality of life for the entire society. Sign Language, in this case PSL, as a set of elements that have not yet been tested in Machine Learning. This project was created with the idea of testing whether it was possible to create a PSL translator and whether Kinect, with its ability to detect the human skeleton could contribute to making this translator more robust and better performing. The end result is a preliminary database and an interface capable of analyzing how images are collected. Kinect does not provide sufficient assurance to deliver good results at PSL, but Machine Learning has been able to show that, with only a normal camera, a database can be trained to produce positive results. Tensorflow library has allowed access to the Inception model, which comes pre-trained with other classes and uses the knowledge of these to applie them to the database of this project, allowing it not to be so big, or even to have longest training. In the end, the results obtained were satisfactory and therefore they can continue to be tested and grow the existing database to try to incorporate all gestures that are part of PSL, being it a complex language that does not incorporate only hands, but arms, torso and facial expressions as well.Lopes, GilUniversidade do MinhoRibeiro, Patrícia Reis20192019-01-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/1822/72165por202670481info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-07-21T12:24:30Zoai:repositorium.sdum.uminho.pt:1822/72165Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T19:18:31.743880Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à Kinect
Portuguese Sign Language Recognition System using Kinect
title Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à Kinect
spellingShingle Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à Kinect
Ribeiro, Patrícia Reis
Inception
Kinect
Língua gestual portuguesa (LGP)
Machine
Learning
Tensorflow
Machine learning
Portuguese sign language (PSL)
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
title_short Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à Kinect
title_full Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à Kinect
title_fullStr Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à Kinect
title_full_unstemmed Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à Kinect
title_sort Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à Kinect
author Ribeiro, Patrícia Reis
author_facet Ribeiro, Patrícia Reis
author_role author
dc.contributor.none.fl_str_mv Lopes, Gil
Universidade do Minho
dc.contributor.author.fl_str_mv Ribeiro, Patrícia Reis
dc.subject.por.fl_str_mv Inception
Kinect
Língua gestual portuguesa (LGP)
Machine
Learning
Tensorflow
Machine learning
Portuguese sign language (PSL)
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
topic Inception
Kinect
Língua gestual portuguesa (LGP)
Machine
Learning
Tensorflow
Machine learning
Portuguese sign language (PSL)
Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática
description Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e Computadores
publishDate 2019
dc.date.none.fl_str_mv 2019
2019-01-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1822/72165
url http://hdl.handle.net/1822/72165
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv 202670481
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799132640320684032

Registros relacionados