Controle servo visual para replanejamento da tarefa de um robô manipulador para inspeção de peças automotivas

Detalhes bibliográficos
Autor(a) principal: Lucca Garcia Leão
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFMG
Texto Completo: http://hdl.handle.net/1843/64392
Resumo: A quarta Revolução Industrial, ou Indústria 4.0, trouxe grandes mudanças para os sistemas de manufatura e processos de controle de qualidade por meio de novas tecnologias como a robótica e visão de máquina. A visão de máquina é uma das técnicas mais comumente empregadas para controle de qualidade de processos industriais, permitindo capturar, processar, e inspecionar imagens de peças e produtos em uma linha de produção com o intuito de identificar falhas no processo produtivo, como ausência de componentes, má fixação, manchas e trincas. Contudo, a inspeção de peças com geometria cada vez mais complexas exige que os sistemas de visão, normalmente equipados com câmeras fixas, sejam capazes de capturar imagens em diversas orientações diferentes. Assim, a combinação de manipuladores robóticos a sistemas de visão é uma solução que permite que a câmera seja reposicionada, expandindo a flexibilidade e eficácia de tais sistemas. Esta dissertação se baseia em um estudo de caso sobre a célula de inspeção de peças automotivas da empresa Invent Vision. Esta célula realiza a inspeção automática por meio de algoritmos de visão computacional para controle de qualidade das peças produzidas. A célula conta com um robô manipulador e uma câmera montada em seu efetuador para a realização de inspeções visuais de peças complexas. Ao operacionalizar a máquina, uma peça é posicionada em seu interior e o robô realiza a inspeção, que é definida como uma sequência de poses, nas quais são capturadas imagens pela câmera. Entretanto, o robô espera que a peça sempre esteja na mesma posição para que as imagens estejam na perspectiva correta e a inspeção seja bem sucedida, e portanto, problemas podem ocorrer devido ao mau posicionamento de peça dentro da célula. Nesse sentido, esta dissertação apresenta uma estratégia de replanejamento do movimento realizado pelo robô na tarefa da célula de inspeção, baseado na pose do objeto estimada a partir da identificação de um marcador fiducial. O sistema proposto é baseado em técnicas de Controle Servo Visual e tem como objetivo aprimorar o fluxo de inspeção original da célula, e contornar a imposição do posicionamento da peça, realizando o replanejamento das poses de inspeção com base na posição estimada da peça. O sistema foi inicialmente validado em ambiente de simulação. Em seguida um ambiente experimental de validação foi construído, utilizando um robô real Kuka KR4 R600 e uma câmera industrial Invent Vision idênticos aos utilizados nos sistemas em produção. Os resultados mostram que o sistema foi capaz de realizar a inspeção da peça com sucesso, mesmo com grandes variações de pose da peça dentro do espaço de trabalho. Os experimentos também demonstram que a escolha do tipo de movimento resulta em diferentes trajetórias entre os pontos de inspeção, porém sem alterar o resultado da inspeção. A metodologia proposta é versátil e pode ser utilizada em diferentes aplicações.
id UFMG_0ae9bd1b05b3ad4620f236418bf8e570
oai_identifier_str oai:repositorio.ufmg.br:1843/64392
network_acronym_str UFMG
network_name_str Repositório Institucional da UFMG
repository_id_str
spelling Gustavo Medeiros Freitashttp://lattes.cnpq.br/7498475817486314Bruno Nazário CoelhoLuiz Fernando Etrusco Moreirahttp://lattes.cnpq.br/8259426952164834Lucca Garcia Leão2024-02-21T16:37:09Z2024-02-21T16:37:09Z2023-10-10http://hdl.handle.net/1843/64392A quarta Revolução Industrial, ou Indústria 4.0, trouxe grandes mudanças para os sistemas de manufatura e processos de controle de qualidade por meio de novas tecnologias como a robótica e visão de máquina. A visão de máquina é uma das técnicas mais comumente empregadas para controle de qualidade de processos industriais, permitindo capturar, processar, e inspecionar imagens de peças e produtos em uma linha de produção com o intuito de identificar falhas no processo produtivo, como ausência de componentes, má fixação, manchas e trincas. Contudo, a inspeção de peças com geometria cada vez mais complexas exige que os sistemas de visão, normalmente equipados com câmeras fixas, sejam capazes de capturar imagens em diversas orientações diferentes. Assim, a combinação de manipuladores robóticos a sistemas de visão é uma solução que permite que a câmera seja reposicionada, expandindo a flexibilidade e eficácia de tais sistemas. Esta dissertação se baseia em um estudo de caso sobre a célula de inspeção de peças automotivas da empresa Invent Vision. Esta célula realiza a inspeção automática por meio de algoritmos de visão computacional para controle de qualidade das peças produzidas. A célula conta com um robô manipulador e uma câmera montada em seu efetuador para a realização de inspeções visuais de peças complexas. Ao operacionalizar a máquina, uma peça é posicionada em seu interior e o robô realiza a inspeção, que é definida como uma sequência de poses, nas quais são capturadas imagens pela câmera. Entretanto, o robô espera que a peça sempre esteja na mesma posição para que as imagens estejam na perspectiva correta e a inspeção seja bem sucedida, e portanto, problemas podem ocorrer devido ao mau posicionamento de peça dentro da célula. Nesse sentido, esta dissertação apresenta uma estratégia de replanejamento do movimento realizado pelo robô na tarefa da célula de inspeção, baseado na pose do objeto estimada a partir da identificação de um marcador fiducial. O sistema proposto é baseado em técnicas de Controle Servo Visual e tem como objetivo aprimorar o fluxo de inspeção original da célula, e contornar a imposição do posicionamento da peça, realizando o replanejamento das poses de inspeção com base na posição estimada da peça. O sistema foi inicialmente validado em ambiente de simulação. Em seguida um ambiente experimental de validação foi construído, utilizando um robô real Kuka KR4 R600 e uma câmera industrial Invent Vision idênticos aos utilizados nos sistemas em produção. Os resultados mostram que o sistema foi capaz de realizar a inspeção da peça com sucesso, mesmo com grandes variações de pose da peça dentro do espaço de trabalho. Os experimentos também demonstram que a escolha do tipo de movimento resulta em diferentes trajetórias entre os pontos de inspeção, porém sem alterar o resultado da inspeção. A metodologia proposta é versátil e pode ser utilizada em diferentes aplicações.The fourth Industrial Revolution, also called Industry 4.0, brought many changes to manufacturing systems and quality control processes through new technologies such as robotics and machine vision. Machine vision is one of the most commonly employed techniques for quality control of industrial processes, as it allows the capture, processing and inspection of products with the intent of identifying failures in the production process, such as absence of certain components, displacement, smudges and cracks. However, the inspection of objects with increasingly complex geometry demands machine vision systems, which are commonly composed of one single static camera, to be able to capture images in various different perspectives. Thus, the combination of robotic manipulators and machine vision systems can be a solution to move the camera around to desired positions, increasing the flexibility and effectiveness of said systems. This dissertation is based on the case study of the Invent Vision automated inspection cell. This cell performs automatic inspection using computer vision algorithms for quality control of the produced parts. The cell is equipped with a robotic manipulator with a camera mounted in its end-effector to perform visual inspection of complex vehicle parts. Upon operating the machine, the object is placed in its interior and the robot performs an inspection, defined by a sequence of desired poses where images are captured. However, the robot expects the inspected part to always be in the same position in order to obtain the correct image perspectives and perform a succesfull inspection, and therefore, problems could occur due to mispositioning of the object inside the cell. In this sense, this dissertation proposes a task replanning strategy for the robot movement during an inspection. The replanning is calculated with relation to the pose of the inspected component, which is estimated by identifying a fiducial marker. The proposed system is based on Visual Servo Control techniques and aims to improve the original workflow of the inspection cell by avoiding the imposition of part position, while performing the task replanning based on its estimated pose. The system was initially validated in a simulation environment. Then, an experimental setup was constructed with a real Kuka KR4 R600 and an industrial Invent Vision camera identical to the ones in real production environments. The inspections were performed using a real part, and a template matching algorithm to detect the presence of certain components. Experimental results show that the proposed system was capable of performing the inspection of a part with success, even when subject to great pose variation in the workspace. The experiments also show that the choice of movement result in different trajectories between the inspection points, but without altering the inspection result. The proposed methodology is versatile and can be also used in other applications.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoCAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorporUniversidade Federal de Minas GeraisPrograma de Pós-Graduação em Engenharia ElétricaUFMGBrasilENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICAEngenharia elétricaRobôsRobóticaAutomóveis - PeçasControle de qualidadeAutomaçãoRobôs - Sistemas de controleVisão por computadorControle automáticoProcessos de fabricaçãoRobóticaVisão de máquinaControle de qualidadeReplanejamento de tarefaControle servo visualControle servo visual para replanejamento da tarefa de um robô manipulador para inspeção de peças automotivasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGORIGINALdissertacao_LuccaLeao_PDFA_corrigido.pdfdissertacao_LuccaLeao_PDFA_corrigido.pdfapplication/pdf38867917https://repositorio.ufmg.br/bitstream/1843/64392/3/dissertacao_LuccaLeao_PDFA_corrigido.pdf1aa824650c17ec778ac152132d03fe15MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-82118https://repositorio.ufmg.br/bitstream/1843/64392/4/license.txtcda590c95a0b51b4d15f60c9642ca272MD541843/643922024-02-21 13:37:09.666oai:repositorio.ufmg.br:1843/64392TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEgRE8gUkVQT1NJVMOTUklPIElOU1RJVFVDSU9OQUwgREEgVUZNRwoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIChSSS1VRk1HKSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZSBpcnJldm9nw6F2ZWwgZGUgcmVwcm9kdXppciBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIMOhdWRpbyBvdSB2w61kZW8uCgpWb2PDqiBkZWNsYXJhIHF1ZSBjb25oZWNlIGEgcG9sw610aWNhIGRlIGNvcHlyaWdodCBkYSBlZGl0b3JhIGRvIHNldSBkb2N1bWVudG8gZSBxdWUgY29uaGVjZSBlIGFjZWl0YSBhcyBEaXJldHJpemVzIGRvIFJJLVVGTUcuCgpWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGTUcgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY8OzcGlhIGRlIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBmaW5zIGRlIHNlZ3VyYW7Dp2EsIGJhY2stdXAgZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogZGVjbGFyYSBxdWUgYSBzdWEgcHVibGljYcOnw6NvIMOpIG9yaWdpbmFsIGUgcXVlIHZvY8OqIHRlbSBvIHBvZGVyIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIG8gZGVww7NzaXRvIGRlIHN1YSBwdWJsaWNhw6fDo28gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHB1YmxpY2HDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHB1YmxpY2HDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBQVUJMSUNBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UgQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCk8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lKHMpIG91IG8ocykgbm9tZXMocykgZG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4KRepositório de PublicaçõesPUBhttps://repositorio.ufmg.br/oaiopendoar:2024-02-21T16:37:09Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)false
dc.title.pt_BR.fl_str_mv Controle servo visual para replanejamento da tarefa de um robô manipulador para inspeção de peças automotivas
title Controle servo visual para replanejamento da tarefa de um robô manipulador para inspeção de peças automotivas
spellingShingle Controle servo visual para replanejamento da tarefa de um robô manipulador para inspeção de peças automotivas
Lucca Garcia Leão
Robótica
Visão de máquina
Controle de qualidade
Replanejamento de tarefa
Controle servo visual
Engenharia elétrica
Robôs
Robótica
Automóveis - Peças
Controle de qualidade
Automação
Robôs - Sistemas de controle
Visão por computador
Controle automático
Processos de fabricação
title_short Controle servo visual para replanejamento da tarefa de um robô manipulador para inspeção de peças automotivas
title_full Controle servo visual para replanejamento da tarefa de um robô manipulador para inspeção de peças automotivas
title_fullStr Controle servo visual para replanejamento da tarefa de um robô manipulador para inspeção de peças automotivas
title_full_unstemmed Controle servo visual para replanejamento da tarefa de um robô manipulador para inspeção de peças automotivas
title_sort Controle servo visual para replanejamento da tarefa de um robô manipulador para inspeção de peças automotivas
author Lucca Garcia Leão
author_facet Lucca Garcia Leão
author_role author
dc.contributor.advisor1.fl_str_mv Gustavo Medeiros Freitas
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/7498475817486314
dc.contributor.referee1.fl_str_mv Bruno Nazário Coelho
dc.contributor.referee2.fl_str_mv Luiz Fernando Etrusco Moreira
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/8259426952164834
dc.contributor.author.fl_str_mv Lucca Garcia Leão
contributor_str_mv Gustavo Medeiros Freitas
Bruno Nazário Coelho
Luiz Fernando Etrusco Moreira
dc.subject.por.fl_str_mv Robótica
Visão de máquina
Controle de qualidade
Replanejamento de tarefa
Controle servo visual
topic Robótica
Visão de máquina
Controle de qualidade
Replanejamento de tarefa
Controle servo visual
Engenharia elétrica
Robôs
Robótica
Automóveis - Peças
Controle de qualidade
Automação
Robôs - Sistemas de controle
Visão por computador
Controle automático
Processos de fabricação
dc.subject.other.pt_BR.fl_str_mv Engenharia elétrica
Robôs
Robótica
Automóveis - Peças
Controle de qualidade
Automação
Robôs - Sistemas de controle
Visão por computador
Controle automático
Processos de fabricação
description A quarta Revolução Industrial, ou Indústria 4.0, trouxe grandes mudanças para os sistemas de manufatura e processos de controle de qualidade por meio de novas tecnologias como a robótica e visão de máquina. A visão de máquina é uma das técnicas mais comumente empregadas para controle de qualidade de processos industriais, permitindo capturar, processar, e inspecionar imagens de peças e produtos em uma linha de produção com o intuito de identificar falhas no processo produtivo, como ausência de componentes, má fixação, manchas e trincas. Contudo, a inspeção de peças com geometria cada vez mais complexas exige que os sistemas de visão, normalmente equipados com câmeras fixas, sejam capazes de capturar imagens em diversas orientações diferentes. Assim, a combinação de manipuladores robóticos a sistemas de visão é uma solução que permite que a câmera seja reposicionada, expandindo a flexibilidade e eficácia de tais sistemas. Esta dissertação se baseia em um estudo de caso sobre a célula de inspeção de peças automotivas da empresa Invent Vision. Esta célula realiza a inspeção automática por meio de algoritmos de visão computacional para controle de qualidade das peças produzidas. A célula conta com um robô manipulador e uma câmera montada em seu efetuador para a realização de inspeções visuais de peças complexas. Ao operacionalizar a máquina, uma peça é posicionada em seu interior e o robô realiza a inspeção, que é definida como uma sequência de poses, nas quais são capturadas imagens pela câmera. Entretanto, o robô espera que a peça sempre esteja na mesma posição para que as imagens estejam na perspectiva correta e a inspeção seja bem sucedida, e portanto, problemas podem ocorrer devido ao mau posicionamento de peça dentro da célula. Nesse sentido, esta dissertação apresenta uma estratégia de replanejamento do movimento realizado pelo robô na tarefa da célula de inspeção, baseado na pose do objeto estimada a partir da identificação de um marcador fiducial. O sistema proposto é baseado em técnicas de Controle Servo Visual e tem como objetivo aprimorar o fluxo de inspeção original da célula, e contornar a imposição do posicionamento da peça, realizando o replanejamento das poses de inspeção com base na posição estimada da peça. O sistema foi inicialmente validado em ambiente de simulação. Em seguida um ambiente experimental de validação foi construído, utilizando um robô real Kuka KR4 R600 e uma câmera industrial Invent Vision idênticos aos utilizados nos sistemas em produção. Os resultados mostram que o sistema foi capaz de realizar a inspeção da peça com sucesso, mesmo com grandes variações de pose da peça dentro do espaço de trabalho. Os experimentos também demonstram que a escolha do tipo de movimento resulta em diferentes trajetórias entre os pontos de inspeção, porém sem alterar o resultado da inspeção. A metodologia proposta é versátil e pode ser utilizada em diferentes aplicações.
publishDate 2023
dc.date.issued.fl_str_mv 2023-10-10
dc.date.accessioned.fl_str_mv 2024-02-21T16:37:09Z
dc.date.available.fl_str_mv 2024-02-21T16:37:09Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/1843/64392
url http://hdl.handle.net/1843/64392
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Elétrica
dc.publisher.initials.fl_str_mv UFMG
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv ENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICA
publisher.none.fl_str_mv Universidade Federal de Minas Gerais
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMG
instname:Universidade Federal de Minas Gerais (UFMG)
instacron:UFMG
instname_str Universidade Federal de Minas Gerais (UFMG)
instacron_str UFMG
institution UFMG
reponame_str Repositório Institucional da UFMG
collection Repositório Institucional da UFMG
bitstream.url.fl_str_mv https://repositorio.ufmg.br/bitstream/1843/64392/3/dissertacao_LuccaLeao_PDFA_corrigido.pdf
https://repositorio.ufmg.br/bitstream/1843/64392/4/license.txt
bitstream.checksum.fl_str_mv 1aa824650c17ec778ac152132d03fe15
cda590c95a0b51b4d15f60c9642ca272
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)
repository.mail.fl_str_mv
_version_ 1803589221360861184