Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais
Autor(a) principal: | |
---|---|
Data de Publicação: | 2015 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) |
Texto Completo: | http://repositorio.uem.br:8080/jspui/handle/1/2580 |
Resumo: | Rehabilitation and improvement of living conditions of people with special motor needs offers many research possibilities. This study has the goal of developing a new interface based on optical flow and facial expressions recognition, aiming to enable people who are able to move muscles above the neck to command an electric wheelchair. This interface uses a webcam directed to the face of the user, in order to capture a sequence of images, which are processed aiming to recognize facial patterns that serve as commands for the system to perform some action in real time. This action is sent to a robot that represents the wheelchair. The system is divided into two modules, the first named Computer Vision Module MVC and the other is the Robotic Module MR. The first module applies computer vision techniques to recognize facial expressions and head movements, interpreting the intentions of moving from the user, and thus, sending commands to the robot. The second module is a wheeled mobile robot RMR which has its degree of maneuverability equal to (2,0), which are the same degrees of an wheelchair. This robot receives the commands generated by the MVC by means of a bluetooth communication interface, and then performs the movements that a wheelchair would do in a real situation. Tests were conducted involving various types of environment lighting, and also people with different skin tones. The experimental results show that it is possible to control the movements of an RMR by means of the analysis of images that captures the head movements and facial expressions. Indoor environments showed high rates in the correct recognition, and also very low false command recognition rates. |
id |
UEM-10_a1bfdbdff94ce66d461253e760ff4686 |
---|---|
oai_identifier_str |
oai:localhost:1/2580 |
network_acronym_str |
UEM-10 |
network_name_str |
Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) |
repository_id_str |
|
spelling |
Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciaisInteração humano-computadorRobô móvelCadeiras de rodas inteligentesBrasil.Intelligent wheelchairWheeled mobile robotHuman-machine interfaceBrazil.Ciências Exatas e da TerraCiência da ComputaçãoRehabilitation and improvement of living conditions of people with special motor needs offers many research possibilities. This study has the goal of developing a new interface based on optical flow and facial expressions recognition, aiming to enable people who are able to move muscles above the neck to command an electric wheelchair. This interface uses a webcam directed to the face of the user, in order to capture a sequence of images, which are processed aiming to recognize facial patterns that serve as commands for the system to perform some action in real time. This action is sent to a robot that represents the wheelchair. The system is divided into two modules, the first named Computer Vision Module MVC and the other is the Robotic Module MR. The first module applies computer vision techniques to recognize facial expressions and head movements, interpreting the intentions of moving from the user, and thus, sending commands to the robot. The second module is a wheeled mobile robot RMR which has its degree of maneuverability equal to (2,0), which are the same degrees of an wheelchair. This robot receives the commands generated by the MVC by means of a bluetooth communication interface, and then performs the movements that a wheelchair would do in a real situation. Tests were conducted involving various types of environment lighting, and also people with different skin tones. The experimental results show that it is possible to control the movements of an RMR by means of the analysis of images that captures the head movements and facial expressions. Indoor environments showed high rates in the correct recognition, and also very low false command recognition rates.A reabilitação e melhoria das condições de vida de portadores de necessidades motoras especiais oferecem muitas possibilidades de pesquisa. O presente trabalho tem o objetivo de desenvolver uma nova interface baseada em fluxo ótico e reconhecimento de expressões faciais, com o intuíto de permitir que uma pessoa, que possua os movimentos do pescoço para cima, comande uma cadeira de rodas elétrica. Essa interface faz uso de uma webcam voltada para o rosto do usuário, para capturar uma sequência de imagens as quais são processadas com a finalidade de reconhecer padrões faciais que sirvam como comandos para que o sistema realize alguma ação em tempo real. Essa ação é enviada a um robô que representa a cadeira de rodas. O projeto é dividido em duas partes, a primeira denominada Módulo de Visão Computacional (MVC) e a outra é o Módulo Robótico (MR). O primeiro módulo aplica técnicas de visão computacional para reconhecer as expressões do rosto, e movimentos da cabeça, interpretando as intenções de se locomover do usuário, e assim, enviando comandos para o robô. O segundo módulo é um Robô Móvel com Rodas (RMR) que possui grau de manobrabilidade igual a (2,0), o qual é o mesmo grau que possui uma cadeira de rodas. Esse robô recebe os comandos gerados pelo MVC por meio de uma interface de comunicação bluetooth, e então realiza os movimentos que uma cadeira de rodas faria em uma situação real. Foram realizados testes envolvendo diferentes tipos de iluminação ambiente, e também pessoas com tons de pele variados. Os resultados experimentais mostram que é possível comandar o movimento de um RMR pela analise de imagens que capturam os movimentos da cabeça e expressões do rosto. Ambientes internos apresentaram altas taxas no reconhecimento correto, e também baixíssimas taxas de falso reconhecimento de comandos.76 fUniversidade Estadual de MaringáBrasilDepartamento de InformáticaPrograma de Pós-Graduação em Ciência da ComputaçãoUEMMaringá, PRCentro de TecnologiaFranklin César FloresYandre Maldonado e Gomes da Costa - UEMLeticia Rittner - UNICAMPOliveira, Pietro Martins de2018-04-10T20:12:28Z2018-04-10T20:12:28Z2015info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://repositorio.uem.br:8080/jspui/handle/1/2580porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)instname:Universidade Estadual de Maringá (UEM)instacron:UEM2018-10-18T19:23:15Zoai:localhost:1/2580Repositório InstitucionalPUBhttp://repositorio.uem.br:8080/oai/requestopendoar:2024-04-23T14:55:38.739646Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) - Universidade Estadual de Maringá (UEM)false |
dc.title.none.fl_str_mv |
Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais |
title |
Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais |
spellingShingle |
Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais Oliveira, Pietro Martins de Interação humano-computador Robô móvel Cadeiras de rodas inteligentes Brasil. Intelligent wheelchair Wheeled mobile robot Human-machine interface Brazil. Ciências Exatas e da Terra Ciência da Computação |
title_short |
Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais |
title_full |
Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais |
title_fullStr |
Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais |
title_full_unstemmed |
Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais |
title_sort |
Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais |
author |
Oliveira, Pietro Martins de |
author_facet |
Oliveira, Pietro Martins de |
author_role |
author |
dc.contributor.none.fl_str_mv |
Franklin César Flores Yandre Maldonado e Gomes da Costa - UEM Leticia Rittner - UNICAMP |
dc.contributor.author.fl_str_mv |
Oliveira, Pietro Martins de |
dc.subject.por.fl_str_mv |
Interação humano-computador Robô móvel Cadeiras de rodas inteligentes Brasil. Intelligent wheelchair Wheeled mobile robot Human-machine interface Brazil. Ciências Exatas e da Terra Ciência da Computação |
topic |
Interação humano-computador Robô móvel Cadeiras de rodas inteligentes Brasil. Intelligent wheelchair Wheeled mobile robot Human-machine interface Brazil. Ciências Exatas e da Terra Ciência da Computação |
description |
Rehabilitation and improvement of living conditions of people with special motor needs offers many research possibilities. This study has the goal of developing a new interface based on optical flow and facial expressions recognition, aiming to enable people who are able to move muscles above the neck to command an electric wheelchair. This interface uses a webcam directed to the face of the user, in order to capture a sequence of images, which are processed aiming to recognize facial patterns that serve as commands for the system to perform some action in real time. This action is sent to a robot that represents the wheelchair. The system is divided into two modules, the first named Computer Vision Module MVC and the other is the Robotic Module MR. The first module applies computer vision techniques to recognize facial expressions and head movements, interpreting the intentions of moving from the user, and thus, sending commands to the robot. The second module is a wheeled mobile robot RMR which has its degree of maneuverability equal to (2,0), which are the same degrees of an wheelchair. This robot receives the commands generated by the MVC by means of a bluetooth communication interface, and then performs the movements that a wheelchair would do in a real situation. Tests were conducted involving various types of environment lighting, and also people with different skin tones. The experimental results show that it is possible to control the movements of an RMR by means of the analysis of images that captures the head movements and facial expressions. Indoor environments showed high rates in the correct recognition, and also very low false command recognition rates. |
publishDate |
2015 |
dc.date.none.fl_str_mv |
2015 2018-04-10T20:12:28Z 2018-04-10T20:12:28Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://repositorio.uem.br:8080/jspui/handle/1/2580 |
url |
http://repositorio.uem.br:8080/jspui/handle/1/2580 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Estadual de Maringá Brasil Departamento de Informática Programa de Pós-Graduação em Ciência da Computação UEM Maringá, PR Centro de Tecnologia |
publisher.none.fl_str_mv |
Universidade Estadual de Maringá Brasil Departamento de Informática Programa de Pós-Graduação em Ciência da Computação UEM Maringá, PR Centro de Tecnologia |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) instname:Universidade Estadual de Maringá (UEM) instacron:UEM |
instname_str |
Universidade Estadual de Maringá (UEM) |
instacron_str |
UEM |
institution |
UEM |
reponame_str |
Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) |
collection |
Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) |
repository.name.fl_str_mv |
Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) - Universidade Estadual de Maringá (UEM) |
repository.mail.fl_str_mv |
|
_version_ |
1813258653650649088 |