Controle de fixação atentivo para uma cabeça robótica com visão binocular

Detalhes bibliográficos
Autor(a) principal: Roos, André Filipe
Data de Publicação: 2016
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/2648
Resumo: A pesquisa em visão computacional ainda está distante de replicar a adaptabilidade e o desempenho do Sistema Visual Humano. Grande parte das técnicas consolidadas são válidas apenas em cenas estáticas e condições restritivas. Cabeças robóticas representam um avanço em flexibilidade, pois carregam câmeras que podem ser movimentadas livremente para a exploração dos arredores. A observação artificial de um ambiente dinâmico exige a solução de pelo menos dois problemas: determinar quais informações perceptuais relevantes extrair dos sensores e como controlar seu movimento para mudar e manter a fixação de alvos com forma e movimento arbitrários. Neste trabalho, um sistema de controle de fixação binocular geral é proposto, e o subsistema responsável pela seleção de alvos e fixação de deslocamentos laterais é projetado, experimentado e avaliado em uma cabeça robótica com quatro graus de liberdade. O subsistema emprega um popular modelo de atenção visual de baixo nível para detectar o ponto mais saliente da cena e um controlador proporcional-integral gera um movimento conjuntivo das duas câmeras para centralizá-lo na imagem da câmera esquerda, assumida como dominante. O desenvolvimento do sistema envolveu primeiramente a modelagem física detalhada do mecanismo de pan e tilt das câmeras. Então, a estrutura linearizada obtida foi ajustada por mínimos quadrados aos dados experimentais de entrada-saída. Por fim, os ganhos do controlador foram sintonizados por otimização e ajuste manual. A implementação em C++ com a biblioteca OpenCV permitiu operação em tempo real a 30 Hz. Experimentos demonstram que o sistema é capaz de fixar alvos estáticos e altamente salientes sem conhecimento prévio ou fortes suposições. Alvos em movimento harmônico são perseguidos naturalmente, embora com defasamento. Em cenas visualmente densas, onde múltiplos alvos em potencial competem pela atenção, o sistema pode apresentar comportamento oscilatório, exigindo o ajuste fino dos pesos do algoritmo para operação suave. A adição de um controlador para o pescoço e de um controlador de vergência para a compensação de deslocamentos em profundidade são os próximos passos rumo a um observador artificial genérico.
id UTFPR-12_bdab701c050dad26bb6fd8c4d193cd29
oai_identifier_str oai:repositorio.utfpr.edu.br:1/2648
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling 2017-11-27T03:10:06Z2017-11-27T03:10:06Z2016-08-29ROOS, André Filipe. Controle de fixação atentivo para uma cabeça robótica com visão binocular. 2016. 92 f. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) – Universidade Tecnológica Federal do Paraná, Curitiba, 2016.http://repositorio.utfpr.edu.br/jspui/handle/1/2648A pesquisa em visão computacional ainda está distante de replicar a adaptabilidade e o desempenho do Sistema Visual Humano. Grande parte das técnicas consolidadas são válidas apenas em cenas estáticas e condições restritivas. Cabeças robóticas representam um avanço em flexibilidade, pois carregam câmeras que podem ser movimentadas livremente para a exploração dos arredores. A observação artificial de um ambiente dinâmico exige a solução de pelo menos dois problemas: determinar quais informações perceptuais relevantes extrair dos sensores e como controlar seu movimento para mudar e manter a fixação de alvos com forma e movimento arbitrários. Neste trabalho, um sistema de controle de fixação binocular geral é proposto, e o subsistema responsável pela seleção de alvos e fixação de deslocamentos laterais é projetado, experimentado e avaliado em uma cabeça robótica com quatro graus de liberdade. O subsistema emprega um popular modelo de atenção visual de baixo nível para detectar o ponto mais saliente da cena e um controlador proporcional-integral gera um movimento conjuntivo das duas câmeras para centralizá-lo na imagem da câmera esquerda, assumida como dominante. O desenvolvimento do sistema envolveu primeiramente a modelagem física detalhada do mecanismo de pan e tilt das câmeras. Então, a estrutura linearizada obtida foi ajustada por mínimos quadrados aos dados experimentais de entrada-saída. Por fim, os ganhos do controlador foram sintonizados por otimização e ajuste manual. A implementação em C++ com a biblioteca OpenCV permitiu operação em tempo real a 30 Hz. Experimentos demonstram que o sistema é capaz de fixar alvos estáticos e altamente salientes sem conhecimento prévio ou fortes suposições. Alvos em movimento harmônico são perseguidos naturalmente, embora com defasamento. Em cenas visualmente densas, onde múltiplos alvos em potencial competem pela atenção, o sistema pode apresentar comportamento oscilatório, exigindo o ajuste fino dos pesos do algoritmo para operação suave. A adição de um controlador para o pescoço e de um controlador de vergência para a compensação de deslocamentos em profundidade são os próximos passos rumo a um observador artificial genérico.Computer vision research is still far from replicating the adaptability and performance of the Human Visual System. Most of its consolidated techniques are valid only over static scenes and restrictive conditions. Robot heads represent an advance in terms of flexibility by carrying cameras that can be freely moved to explore the surroundings. Artificial observation of dynamic environments requires the solution of at least two problems: to determine what is the relevant perceptual information to be extracted from the sensors and how to control their movement in order to shift and hold gaze on targets featuring arbitrary shapes and motions. In this work, a general binocular gaze control system is proposed, and the subsystem responsible for targeting and following lateral displacements is designed, tested and assessed in a four degrees-of-freedom robot head. The subsystem employs a popular low-level visual attention model to detect the most salient point in the scene, and a proportional-integral controller generates a conjunctive movement of the cameras to center it in the left camera image, assumed to be dominant. The development started with a detailed physical modeling of the pan and tilt mechanism that drives the cameras. Then, the linearized structure obtained was fitted via least squares estimation to experimental input-output data. Finally, the controller gains were tuned by optimization and manual adjustment. The OpenCV-based implementation in C++ allowed real-time execution at 30 Hz. Experiments demonstrate that the system is capable of fixating highly salient and static targets without any prior knowledge or strong assumptions. Targets describing harmonic motion are naturally pursued, albeit with a phase shift. In cluttered scenes, where multiple potential targets compete for attention, the system may present oscillatory behavior, requiring fine adjustment of algorithm weights for smooth operation. The addition of a controller for the neck and a vergence controller to compensate for depth displacements are the next steps towards a generic artificial observer.porUniversidade Tecnológica Federal do ParanáCuritibaPrograma de Pós-Graduação em Engenharia Elétrica e Informática IndustrialUTFPRBrasilCNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::CONTROLE DE PROCESSOS ELETRONICOS, RETROALIMENTACAOEngenharia ElétricaVisão por computadorVisão de robôRobôs - Sistemas de controleRobôsAlgorítmos computacionaisEngenharia elétricaComputer visionRobot visionRobots - Control systemsRobotsComputer algorithmsElectric engineeringControle de fixação atentivo para uma cabeça robótica com visão binocularAttentive gaze control for a binocular robot headinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisCuritibaVieira Neto, Hugohttp://lattes.cnpq.br/8827447995496589Arruda, Lucia Valeria Ramos deTodt, EduardoBorba, Gustavo BenvenuttiSchneider, Guilherme Alceuhttp://lattes.cnpq.br/5438735655638318Roos, André Filipeinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPRORIGINALCT_CPGEI_M_Roos, André Filipe_2016..pdfCT_CPGEI_M_Roos, André Filipe_2016..pdfapplication/pdf17926068http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/2648/1/CT_CPGEI_M_Roos%2c%20Andr%c3%a9%20Filipe_2016..pdfab6c46fa58ecef5548bb92edbe150102MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81748http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/2648/2/license.txt8a4605be74aa9ea9d79846c1fba20a33MD52TEXTCT_CPGEI_M_Roos, André Filipe_2016..pdf.txtCT_CPGEI_M_Roos, André Filipe_2016..pdf.txtExtracted texttext/plain170898http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/2648/3/CT_CPGEI_M_Roos%2c%20Andr%c3%a9%20Filipe_2016..pdf.txt456388c9cf869c21e45a3c93f00e5257MD53THUMBNAILCT_CPGEI_M_Roos, André Filipe_2016..pdf.jpgCT_CPGEI_M_Roos, André Filipe_2016..pdf.jpgGenerated Thumbnailimage/jpeg1213http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/2648/4/CT_CPGEI_M_Roos%2c%20Andr%c3%a9%20Filipe_2016..pdf.jpgfde6953aade734a03decc1c6ce0802fcMD541/26482018-06-15 17:12:48.384oai:repositorio.utfpr.edu.br:1/2648Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório de PublicaçõesPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestopendoar:2018-06-15T20:12:48Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.pt_BR.fl_str_mv Controle de fixação atentivo para uma cabeça robótica com visão binocular
dc.title.alternative.pt_BR.fl_str_mv Attentive gaze control for a binocular robot head
title Controle de fixação atentivo para uma cabeça robótica com visão binocular
spellingShingle Controle de fixação atentivo para uma cabeça robótica com visão binocular
Roos, André Filipe
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::CONTROLE DE PROCESSOS ELETRONICOS, RETROALIMENTACAO
Visão por computador
Visão de robô
Robôs - Sistemas de controle
Robôs
Algorítmos computacionais
Engenharia elétrica
Computer vision
Robot vision
Robots - Control systems
Robots
Computer algorithms
Electric engineering
Engenharia Elétrica
title_short Controle de fixação atentivo para uma cabeça robótica com visão binocular
title_full Controle de fixação atentivo para uma cabeça robótica com visão binocular
title_fullStr Controle de fixação atentivo para uma cabeça robótica com visão binocular
title_full_unstemmed Controle de fixação atentivo para uma cabeça robótica com visão binocular
title_sort Controle de fixação atentivo para uma cabeça robótica com visão binocular
author Roos, André Filipe
author_facet Roos, André Filipe
author_role author
dc.contributor.advisor1.fl_str_mv Vieira Neto, Hugo
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/8827447995496589
dc.contributor.referee1.fl_str_mv Arruda, Lucia Valeria Ramos de
dc.contributor.referee2.fl_str_mv Todt, Eduardo
dc.contributor.referee3.fl_str_mv Borba, Gustavo Benvenutti
dc.contributor.referee4.fl_str_mv Schneider, Guilherme Alceu
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/5438735655638318
dc.contributor.author.fl_str_mv Roos, André Filipe
contributor_str_mv Vieira Neto, Hugo
Arruda, Lucia Valeria Ramos de
Todt, Eduardo
Borba, Gustavo Benvenutti
Schneider, Guilherme Alceu
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::CONTROLE DE PROCESSOS ELETRONICOS, RETROALIMENTACAO
topic CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::CONTROLE DE PROCESSOS ELETRONICOS, RETROALIMENTACAO
Visão por computador
Visão de robô
Robôs - Sistemas de controle
Robôs
Algorítmos computacionais
Engenharia elétrica
Computer vision
Robot vision
Robots - Control systems
Robots
Computer algorithms
Electric engineering
Engenharia Elétrica
dc.subject.por.fl_str_mv Visão por computador
Visão de robô
Robôs - Sistemas de controle
Robôs
Algorítmos computacionais
Engenharia elétrica
Computer vision
Robot vision
Robots - Control systems
Robots
Computer algorithms
Electric engineering
dc.subject.capes.pt_BR.fl_str_mv Engenharia Elétrica
description A pesquisa em visão computacional ainda está distante de replicar a adaptabilidade e o desempenho do Sistema Visual Humano. Grande parte das técnicas consolidadas são válidas apenas em cenas estáticas e condições restritivas. Cabeças robóticas representam um avanço em flexibilidade, pois carregam câmeras que podem ser movimentadas livremente para a exploração dos arredores. A observação artificial de um ambiente dinâmico exige a solução de pelo menos dois problemas: determinar quais informações perceptuais relevantes extrair dos sensores e como controlar seu movimento para mudar e manter a fixação de alvos com forma e movimento arbitrários. Neste trabalho, um sistema de controle de fixação binocular geral é proposto, e o subsistema responsável pela seleção de alvos e fixação de deslocamentos laterais é projetado, experimentado e avaliado em uma cabeça robótica com quatro graus de liberdade. O subsistema emprega um popular modelo de atenção visual de baixo nível para detectar o ponto mais saliente da cena e um controlador proporcional-integral gera um movimento conjuntivo das duas câmeras para centralizá-lo na imagem da câmera esquerda, assumida como dominante. O desenvolvimento do sistema envolveu primeiramente a modelagem física detalhada do mecanismo de pan e tilt das câmeras. Então, a estrutura linearizada obtida foi ajustada por mínimos quadrados aos dados experimentais de entrada-saída. Por fim, os ganhos do controlador foram sintonizados por otimização e ajuste manual. A implementação em C++ com a biblioteca OpenCV permitiu operação em tempo real a 30 Hz. Experimentos demonstram que o sistema é capaz de fixar alvos estáticos e altamente salientes sem conhecimento prévio ou fortes suposições. Alvos em movimento harmônico são perseguidos naturalmente, embora com defasamento. Em cenas visualmente densas, onde múltiplos alvos em potencial competem pela atenção, o sistema pode apresentar comportamento oscilatório, exigindo o ajuste fino dos pesos do algoritmo para operação suave. A adição de um controlador para o pescoço e de um controlador de vergência para a compensação de deslocamentos em profundidade são os próximos passos rumo a um observador artificial genérico.
publishDate 2016
dc.date.issued.fl_str_mv 2016-08-29
dc.date.accessioned.fl_str_mv 2017-11-27T03:10:06Z
dc.date.available.fl_str_mv 2017-11-27T03:10:06Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv ROOS, André Filipe. Controle de fixação atentivo para uma cabeça robótica com visão binocular. 2016. 92 f. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) – Universidade Tecnológica Federal do Paraná, Curitiba, 2016.
dc.identifier.uri.fl_str_mv http://repositorio.utfpr.edu.br/jspui/handle/1/2648
identifier_str_mv ROOS, André Filipe. Controle de fixação atentivo para uma cabeça robótica com visão binocular. 2016. 92 f. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) – Universidade Tecnológica Federal do Paraná, Curitiba, 2016.
url http://repositorio.utfpr.edu.br/jspui/handle/1/2648
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
dc.publisher.initials.fl_str_mv UTFPR
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
bitstream.url.fl_str_mv http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/2648/1/CT_CPGEI_M_Roos%2c%20Andr%c3%a9%20Filipe_2016..pdf
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/2648/2/license.txt
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/2648/3/CT_CPGEI_M_Roos%2c%20Andr%c3%a9%20Filipe_2016..pdf.txt
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/2648/4/CT_CPGEI_M_Roos%2c%20Andr%c3%a9%20Filipe_2016..pdf.jpg
bitstream.checksum.fl_str_mv ab6c46fa58ecef5548bb92edbe150102
8a4605be74aa9ea9d79846c1fba20a33
456388c9cf869c21e45a3c93f00e5257
fde6953aade734a03decc1c6ce0802fc
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv
_version_ 1805923088667246592