Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo

Detalhes bibliográficos
Autor(a) principal: Lobo Neto, Vicente Coelho, 1996-
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
Texto Completo: https://hdl.handle.net/20.500.12733/6081
Resumo: Orientador: Hélio Pedrini
id UNICAMP-30_c1bc2d6362aeecfb4975bbee477f6e2b
oai_identifier_str oai::1253585
network_acronym_str UNICAMP-30
network_name_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository_id_str
spelling Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundoHand configuration classification of synthetic data from sign languages using deep learningAprendizado de máquinaLíngua de sinaisBase de dadosEscrita de sinaisRedes neurais convolucionaisMachine learningSign languageDatabaseSignWritingConvolutional neural networksOrientador: Hélio PedriniDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: A comunicação é um fator de grande importância na integração das pessoas a uma comunidade. Apesar de línguas orais serem diretamente associadas a isso, muitas pessoas se comunicam principalmente por meio de línguas de sinais. O fato de a quantidade de pessoas fluentes em línguas de sinais ser reduzida, isto dificulta as interações entre sinalizantes e ouvintes. Algumas ferramentas tecnológicas foram desenvolvidas para tentar ajudar, compreendendo geralmente a tradução de frases de uma língua oral para uma língua de sinais. Entretanto, ainda não há opções robustas no sentido contrário, traduzindo de línguas de sinais para línguas orais. Este trabalho é focado nesta lacuna, propondo uma nova abordagem de tradução automática de palavras isoladas de línguas de sinais através da aplicação de aprendizado de máquina a vídeos contendo a sinalização de uma palavra. A abordagem proposta combina técnicas de visão computacional e recuperação de informações e é dividida em etapas que fazem a decomposição dos parâmetros do sinal, que representam os fonemas, para posterior comparação dos resultados com um dicionário de escrita de sinais (SignWriting), o SignPuddle. Este dicionário é colaborativo e contempla uma grande quantidade de palavras de diversas línguas de sinais. Não foram implementadas todas as etapas que compõem a abordagem proposta, tendo sido o foco deste trabalho a realização de provas de conceito da primeira etapa: a classificação de configuração de mão. Para isso, uma análise de ocorrência das configurações de mão foi realizada para posterior criação de um conjunto de dados sintéticos que contém as 50 configurações de mão mais comuns na Libras, a Língua Brasileira de Sinais. O conjunto foi construído utilizando uma ferramenta de animação tridimensional (Blender) e disponibiliza não apenas as imagens das configurações de mão, como também compreende anotações de classificação, detecção, pose e segmentação. Finalmente, foram empregadas técnicas de aprendizado de máquina para a estimação de pose humana e posterior classificação da configuração utilizando redes neurais convolucionais unidimensionais. Como entrada dessas redes, foram combinadas tanto as coordenadas dos pontos-chave da pose, como também características extraídas manualmente, como distâncias e ângulos entre os pontos. Foi observado que a combinação das distâncias e dos ângulos foi a fonte de informação que gerou melhores resultados, atingindo aproximadamente 94,5% de acurácia média nos experimentos. A análise do desempenho de classificação mostrou coerência nos erros e seus possíveis motivos, indicando boa generalização nos classificadores desenvolvidosAbstract: Communication is a very important factor in the integration of people into a community. Although spoken languages are directly associated with this, many people communicate primarily through sign languages. The reduced number of people fluent in sign languages makes interactions between signers and listeners difficult. Some technological tools have been developed to try to help, generally comprising the translation of sentences from an oral language to a sign language. However, there are still no robust options in the opposite direction, translating from sign languages to spoken languages. This work is focused on this gap, proposing a new approach to the automatic translation of isolated words from sign languages through the application of machine learning to videos containing the sign of a word. The proposed approach combines computer vision and information retrieval techniques. It is divided into steps that decompose the signal parameters, which represent the phonemes, for further comparison of the results with a SignWriting dictionary, the SignPuddle. This dictionary is collaborative and includes a large number of words from different sign languages. Not all the steps that compose the proposed approach were implemented, and the focus of this work was to carry out proof of concepts of the first step: hand configuration classification. For this, an analysis of the occurrence of hand configurations was conducted for the subsequent creation of a synthetic dataset that contains the 50 most common hand configurations in Libras, the Brazilian Sign Language. The dataset was built using a three-dimensional animation tool (Blender) and not only provides images of hand configurations but also includes classification, detection, pose and segmentation annotations. Finally, machine learning techniques were used to estimate the human pose and subsequently classify the hand configuration using one-dimensional convolutional neural networks. Keypoint coordinates, as well as manually extracted features, such as the distances and angles between the points, were used as input to these networks. It was observed that the combination of distances and angles was the source of information that generated the best results, reaching approximately 94.5% of average accuracy in the experiments. Classification performance analysis showed consistency in the errors and their possible reasons, indicating good generalization in the developed classifiersMestradoCiência da ComputaçãoMestre em Ciência da ComputaçãoCNPQ132996/2020-0[s.n.]Pedrini, Hélio, 1963-Santanchè, AndréCaetano Júnior, Carlos AntônioUniversidade Estadual de Campinas (UNICAMP). Instituto de ComputaçãoPrograma de Pós-Graduação em Ciência da ComputaçãoUNIVERSIDADE ESTADUAL DE CAMPINASLobo Neto, Vicente Coelho, 1996-20222022-08-18T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdf1 recurso online (83 p.) : il., digital, arquivo PDF.https://hdl.handle.net/20.500.12733/6081LOBO NETO, Vicente Coelho. Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo. 2022. 1 recurso online (83 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/6081. Acesso em: 3 set. 2024.https://repositorio.unicamp.br/acervo/detalhe/1253585Requisitos do sistema: Software para leitura de arquivo em PDFporreponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)instname:Universidade Estadual de Campinas (UNICAMP)instacron:UNICAMPinfo:eu-repo/semantics/openAccess2022-10-17T16:05:12Zoai::1253585Biblioteca Digital de Teses e DissertaçõesPUBhttp://repositorio.unicamp.br/oai/tese/oai.aspsbubd@unicamp.bropendoar:2022-10-17T16:05:12Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)false
dc.title.none.fl_str_mv Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo
Hand configuration classification of synthetic data from sign languages using deep learning
title Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo
spellingShingle Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo
Lobo Neto, Vicente Coelho, 1996-
Aprendizado de máquina
Língua de sinais
Base de dados
Escrita de sinais
Redes neurais convolucionais
Machine learning
Sign language
Database
SignWriting
Convolutional neural networks
title_short Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo
title_full Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo
title_fullStr Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo
title_full_unstemmed Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo
title_sort Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo
author Lobo Neto, Vicente Coelho, 1996-
author_facet Lobo Neto, Vicente Coelho, 1996-
author_role author
dc.contributor.none.fl_str_mv Pedrini, Hélio, 1963-
Santanchè, André
Caetano Júnior, Carlos Antônio
Universidade Estadual de Campinas (UNICAMP). Instituto de Computação
Programa de Pós-Graduação em Ciência da Computação
UNIVERSIDADE ESTADUAL DE CAMPINAS
dc.contributor.author.fl_str_mv Lobo Neto, Vicente Coelho, 1996-
dc.subject.por.fl_str_mv Aprendizado de máquina
Língua de sinais
Base de dados
Escrita de sinais
Redes neurais convolucionais
Machine learning
Sign language
Database
SignWriting
Convolutional neural networks
topic Aprendizado de máquina
Língua de sinais
Base de dados
Escrita de sinais
Redes neurais convolucionais
Machine learning
Sign language
Database
SignWriting
Convolutional neural networks
description Orientador: Hélio Pedrini
publishDate 2022
dc.date.none.fl_str_mv 2022
2022-08-18T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/20.500.12733/6081
LOBO NETO, Vicente Coelho. Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo. 2022. 1 recurso online (83 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/6081. Acesso em: 3 set. 2024.
url https://hdl.handle.net/20.500.12733/6081
identifier_str_mv LOBO NETO, Vicente Coelho. Classificação de dados sintéticos de configurações de mão de línguas de sinais utilizando aprendizado de máquina profundo. 2022. 1 recurso online (83 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/6081. Acesso em: 3 set. 2024.
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://repositorio.unicamp.br/acervo/detalhe/1253585
Requisitos do sistema: Software para leitura de arquivo em PDF
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
1 recurso online (83 p.) : il., digital, arquivo PDF.
dc.publisher.none.fl_str_mv [s.n.]
publisher.none.fl_str_mv [s.n.]
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
instname:Universidade Estadual de Campinas (UNICAMP)
instacron:UNICAMP
instname_str Universidade Estadual de Campinas (UNICAMP)
instacron_str UNICAMP
institution UNICAMP
reponame_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
collection Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)
repository.mail.fl_str_mv sbubd@unicamp.br
_version_ 1809189184749961216

Registros relacionados