Processamento automático de ações faciais superiores usando redes neurais artificiais e processamento de imagens.
Autor(a) principal: | |
---|---|
Data de Publicação: | 2000 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://www.teses.usp.br/teses/disponiveis/3/3142/tde-15102024-101743/ |
Resumo: | O principal objetivo deste trabalho é propor um sistema de reconhecimento automático de ações faciais em imagens usando redes neurais artificiais (RNAs) e o Sistema de Codificação de Ações Faciais (FACS - Facial Action Coding System): umaferramenta amplamente usada para descrever movimentos musculares faciais. Um banco de 80 imagens foi usado para treinar o sistema e outras 180, selecionadas a partir de um banco de 400 imagens experimentais, foram usadas para testar o sistema.Cada imagem foi primeiramente avaliada por um especialista em codificação FACS e, uma vez treinado o sistema, a classificação automática foi comparada com a realizada manualmente. Nas duas últimas décadas desde a criação do código FACS, umgrande número de métodos de reconhecimento automático foram concebidos, de simples medidas de similaridade até complexos sistemas baseados em transformações de imagens. Porém, nenhum tem mostrado um desempenho satisfatório ao lidar com ainformação contida em imagens ruidosas e realistas. Devido à baixa qualidade e resolução das imagens, incluindo a alta variabilidade de posições da cabeça no conjunto das imagens de teste, um conhecido método de extração de atributos paraimagens frontais da face foi usado em combinação com a localização espacial da cabeça. Esta localização espacial foi obtida a partir das coordenadas dos olhos e do nariz no plano da imagem, assim como da geometria da câmera considerada. Estanova técnica proposta se mostrou mais robustaque a simples extração de atributos, mas, no entanto, os resultados ainda não foram satisfatórios. As faces nas imagens usadas por alguns autores quase sempre são capturadas de perto, sendo que ossujeitos ficam de frente à câmera. Isso, certamente, aumenta substancialmente a taxa do reconhecimento das expressões. Finalmente, considerou-se que os métodos mais comuns de extração de atributos presentes na literatura não têm mostrado bonsresultados ) devido à escolha de atributos não ser otimizada para detectar ações faciais. Ao invés de se usar as chamadas medidas de enrugamento de segmentos em certas posições faciais, regiões bidimensionais mostraram-se uma boa escolha, eparecem ser perfeitamente aplicáveis à análise facial. A comparação dos resultados entre classificação humana e automática foi apresentada nas conclusões, usando os novos atributos aperfeiçoados, juntamente com a rede neural PerceptronMulticamadas, à procura de melhores taxas de classificação. |
id |
USP_8d24c83b5d1a94fb4d64e85613d74a00 |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-15102024-101743 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
Processamento automático de ações faciais superiores usando redes neurais artificiais e processamento de imagens.Untitled in englishImage processingNeural networksProcessamento de imagensRedes neuraisO principal objetivo deste trabalho é propor um sistema de reconhecimento automático de ações faciais em imagens usando redes neurais artificiais (RNAs) e o Sistema de Codificação de Ações Faciais (FACS - Facial Action Coding System): umaferramenta amplamente usada para descrever movimentos musculares faciais. Um banco de 80 imagens foi usado para treinar o sistema e outras 180, selecionadas a partir de um banco de 400 imagens experimentais, foram usadas para testar o sistema.Cada imagem foi primeiramente avaliada por um especialista em codificação FACS e, uma vez treinado o sistema, a classificação automática foi comparada com a realizada manualmente. Nas duas últimas décadas desde a criação do código FACS, umgrande número de métodos de reconhecimento automático foram concebidos, de simples medidas de similaridade até complexos sistemas baseados em transformações de imagens. Porém, nenhum tem mostrado um desempenho satisfatório ao lidar com ainformação contida em imagens ruidosas e realistas. Devido à baixa qualidade e resolução das imagens, incluindo a alta variabilidade de posições da cabeça no conjunto das imagens de teste, um conhecido método de extração de atributos paraimagens frontais da face foi usado em combinação com a localização espacial da cabeça. Esta localização espacial foi obtida a partir das coordenadas dos olhos e do nariz no plano da imagem, assim como da geometria da câmera considerada. Estanova técnica proposta se mostrou mais robustaque a simples extração de atributos, mas, no entanto, os resultados ainda não foram satisfatórios. As faces nas imagens usadas por alguns autores quase sempre são capturadas de perto, sendo que ossujeitos ficam de frente à câmera. Isso, certamente, aumenta substancialmente a taxa do reconhecimento das expressões. Finalmente, considerou-se que os métodos mais comuns de extração de atributos presentes na literatura não têm mostrado bonsresultados ) devido à escolha de atributos não ser otimizada para detectar ações faciais. Ao invés de se usar as chamadas medidas de enrugamento de segmentos em certas posições faciais, regiões bidimensionais mostraram-se uma boa escolha, eparecem ser perfeitamente aplicáveis à análise facial. A comparação dos resultados entre classificação humana e automática foi apresentada nas conclusões, usando os novos atributos aperfeiçoados, juntamente com a rede neural PerceptronMulticamadas, à procura de melhores taxas de classificação.The main goal of this work is to propose a way of automating facial actions recognition on images using artificial neural networks and FACS (Facial Action Coding System), a widely used tool that describes facial muscles motion. An image database consisting of 80 pictures was used to train the system and another 180 sample images selected from a 400 image samples database was used to test the system. Each image was first evaluated by a FACS coder expert and, once the system was trained, the automatic classification was compared to the one provided by a specialist. Over the last two decades, since the FACS code has been created, a lot of automatic recognition methods were conceived, from simple similarity measures to complex image transformations based systems, but none has shown satisfactory performance to deal with the information contained into noisy and realistic images. Due to the quality and resolution of the images, including the high variability of the head positioning in the test image set, a known method of feature extraction for frontal face images was used in combination to the spatial location of the head. That spatial location was obtained from the eyes and nose plain image coordinates, as well as the considered camera geometry. This new proposed technique has proved to be more robust than the simple feature extraction approach, but nevertheless the results were still not satisfactory. The faces on the images used by some authors were often gathered close to the camera and the subjects looked straight to it. That, of course, substantially increases the accuracy of expression recognition. Finally, we considered that the most common feature extraction methods presented in the literature have not shown good results because such chosen features were not optimized to detect facial actions. Instead of using the so called wrinkle measures of gray level segments at certain facial positions, bi-dimensional regions proved to be a good choice and seem to be perfectly applicable to face analysis. The comparison results between human and automatic classification is presented in the conclusions, using the improved new features together with the Multilayer Perception Neural Network, in the search for better classification rates.Biblioteca Digitais de Teses e Dissertações da USPCabral Junior, Euvaldo FerreiraTornice, Alexandre2000-03-13info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/3/3142/tde-15102024-101743/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-10-15T13:21:02Zoai:teses.usp.br:tde-15102024-101743Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-10-15T13:21:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
Processamento automático de ações faciais superiores usando redes neurais artificiais e processamento de imagens. Untitled in english |
title |
Processamento automático de ações faciais superiores usando redes neurais artificiais e processamento de imagens. |
spellingShingle |
Processamento automático de ações faciais superiores usando redes neurais artificiais e processamento de imagens. Tornice, Alexandre Image processing Neural networks Processamento de imagens Redes neurais |
title_short |
Processamento automático de ações faciais superiores usando redes neurais artificiais e processamento de imagens. |
title_full |
Processamento automático de ações faciais superiores usando redes neurais artificiais e processamento de imagens. |
title_fullStr |
Processamento automático de ações faciais superiores usando redes neurais artificiais e processamento de imagens. |
title_full_unstemmed |
Processamento automático de ações faciais superiores usando redes neurais artificiais e processamento de imagens. |
title_sort |
Processamento automático de ações faciais superiores usando redes neurais artificiais e processamento de imagens. |
author |
Tornice, Alexandre |
author_facet |
Tornice, Alexandre |
author_role |
author |
dc.contributor.none.fl_str_mv |
Cabral Junior, Euvaldo Ferreira |
dc.contributor.author.fl_str_mv |
Tornice, Alexandre |
dc.subject.por.fl_str_mv |
Image processing Neural networks Processamento de imagens Redes neurais |
topic |
Image processing Neural networks Processamento de imagens Redes neurais |
description |
O principal objetivo deste trabalho é propor um sistema de reconhecimento automático de ações faciais em imagens usando redes neurais artificiais (RNAs) e o Sistema de Codificação de Ações Faciais (FACS - Facial Action Coding System): umaferramenta amplamente usada para descrever movimentos musculares faciais. Um banco de 80 imagens foi usado para treinar o sistema e outras 180, selecionadas a partir de um banco de 400 imagens experimentais, foram usadas para testar o sistema.Cada imagem foi primeiramente avaliada por um especialista em codificação FACS e, uma vez treinado o sistema, a classificação automática foi comparada com a realizada manualmente. Nas duas últimas décadas desde a criação do código FACS, umgrande número de métodos de reconhecimento automático foram concebidos, de simples medidas de similaridade até complexos sistemas baseados em transformações de imagens. Porém, nenhum tem mostrado um desempenho satisfatório ao lidar com ainformação contida em imagens ruidosas e realistas. Devido à baixa qualidade e resolução das imagens, incluindo a alta variabilidade de posições da cabeça no conjunto das imagens de teste, um conhecido método de extração de atributos paraimagens frontais da face foi usado em combinação com a localização espacial da cabeça. Esta localização espacial foi obtida a partir das coordenadas dos olhos e do nariz no plano da imagem, assim como da geometria da câmera considerada. Estanova técnica proposta se mostrou mais robustaque a simples extração de atributos, mas, no entanto, os resultados ainda não foram satisfatórios. As faces nas imagens usadas por alguns autores quase sempre são capturadas de perto, sendo que ossujeitos ficam de frente à câmera. Isso, certamente, aumenta substancialmente a taxa do reconhecimento das expressões. Finalmente, considerou-se que os métodos mais comuns de extração de atributos presentes na literatura não têm mostrado bonsresultados ) devido à escolha de atributos não ser otimizada para detectar ações faciais. Ao invés de se usar as chamadas medidas de enrugamento de segmentos em certas posições faciais, regiões bidimensionais mostraram-se uma boa escolha, eparecem ser perfeitamente aplicáveis à análise facial. A comparação dos resultados entre classificação humana e automática foi apresentada nas conclusões, usando os novos atributos aperfeiçoados, juntamente com a rede neural PerceptronMulticamadas, à procura de melhores taxas de classificação. |
publishDate |
2000 |
dc.date.none.fl_str_mv |
2000-03-13 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/3/3142/tde-15102024-101743/ |
url |
https://www.teses.usp.br/teses/disponiveis/3/3142/tde-15102024-101743/ |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1815256511382814720 |