Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFJF |
Texto Completo: | https://repositorio.ufjf.br/jspui/handle/ufjf/10290 |
Resumo: | Os avanços na última década na área da visão computacional, em termos tanto de hardware como de software, permitiram a expansão da aplicação da realidade virtual e localização e mapeamento simultâneos (SLAM) de câmeras no ambiente. Com isso diversas áreas foram beneficiadas, incluindo a manutenção de equipamentos. No caso de equipamentos no setor elétrico, diversos defeitos ocasionam aumento relevante de temperatura, que podem ser inspecionados por imagens térmicas, porém cuidados como influência do ambiente e ângulo de visão podem resultar em interpretações errôneas. Esse trabalho traz um sistema que visa atingir essas duas funções: realizar a reconstrução do ambiente real em 3 dimensões no mundo virtual a partir de imagens obtidas por câmeras, o que traz para o escritório a análise do ambiente externo e suas características; e projetar sobre esse modelo 3D dados de temperatura obtidos por uma câmera térmica, a fim de analisar de todos os ângulos o estado do objeto que se deseja avaliar quanto à presença de defeitos. Para isso, um par de câmeras estéreo e uma câmera térmica são alinhadas e sincronizadas para captação de imagens durante inspeção. Cada nuvem de pontos 3D é obtida com a técnica de visão estéreo empregada. Para a união, ou registro dessas nuvens, é empregada uma técnica de Odometria Visual para definir a pose das câmeras segundo as características das imagens do par estéreo, seguida de filtros segundo overlap entre as nuvens. Por fim, em cada nuvem obtida e sincronizada com a imagem térmica, técnicas de visão computacional são usadas para projetar os pontos em 3 dimensões na última e obter assim seu dado de temperatura observado pela câmera. Unindo todas essas técnicas, desenvolvidas com o auxílio do framework ROS em C++, é obtido um modelo virtual com informações visuais e térmicas do ambiente e objeto inspecionado pelo equipamento. Os resultados mostram a confiabilidade das técnicas empregadas, juntamente com modelos obtidos satisfatoriamente em diversos cenários. |
id |
UFJF_6643c011372ce244bf526d06aa29d0b7 |
---|---|
oai_identifier_str |
oai:hermes.cpd.ufjf.br:ufjf/10290 |
network_acronym_str |
UFJF |
network_name_str |
Repositório Institucional da UFJF |
repository_id_str |
|
spelling |
Honório, Leonardo de Mellohttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4707900U4Marcato, André Luís Marqueshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4737297A6Moreira, António Paulo Gomes Mendeshttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4678717H8Cerqueira, Augusto Santiagohttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4763697Y0Dantas, Mario Antonio Ribeirohttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4761699H4http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4318120P9Vidal, Vinicius Ferreira2019-07-11T16:43:22Z2019-06-252019-07-11T16:43:22Z2019-05-13https://repositorio.ufjf.br/jspui/handle/ufjf/10290Os avanços na última década na área da visão computacional, em termos tanto de hardware como de software, permitiram a expansão da aplicação da realidade virtual e localização e mapeamento simultâneos (SLAM) de câmeras no ambiente. Com isso diversas áreas foram beneficiadas, incluindo a manutenção de equipamentos. No caso de equipamentos no setor elétrico, diversos defeitos ocasionam aumento relevante de temperatura, que podem ser inspecionados por imagens térmicas, porém cuidados como influência do ambiente e ângulo de visão podem resultar em interpretações errôneas. Esse trabalho traz um sistema que visa atingir essas duas funções: realizar a reconstrução do ambiente real em 3 dimensões no mundo virtual a partir de imagens obtidas por câmeras, o que traz para o escritório a análise do ambiente externo e suas características; e projetar sobre esse modelo 3D dados de temperatura obtidos por uma câmera térmica, a fim de analisar de todos os ângulos o estado do objeto que se deseja avaliar quanto à presença de defeitos. Para isso, um par de câmeras estéreo e uma câmera térmica são alinhadas e sincronizadas para captação de imagens durante inspeção. Cada nuvem de pontos 3D é obtida com a técnica de visão estéreo empregada. Para a união, ou registro dessas nuvens, é empregada uma técnica de Odometria Visual para definir a pose das câmeras segundo as características das imagens do par estéreo, seguida de filtros segundo overlap entre as nuvens. Por fim, em cada nuvem obtida e sincronizada com a imagem térmica, técnicas de visão computacional são usadas para projetar os pontos em 3 dimensões na última e obter assim seu dado de temperatura observado pela câmera. Unindo todas essas técnicas, desenvolvidas com o auxílio do framework ROS em C++, é obtido um modelo virtual com informações visuais e térmicas do ambiente e objeto inspecionado pelo equipamento. Os resultados mostram a confiabilidade das técnicas empregadas, juntamente com modelos obtidos satisfatoriamente em diversos cenários.The last decade improvements in the area of Computer Vision, in terms of both hardware and software, promoted and expansion in Virtual Reality and cameras Simultaneous Localization and Mapping (SLAM) in the environment, which brings benefits in several areas, including equipment maintenance. In the Electrical Engineering sector case, many flaws result in the equipment temperature raise, which can be inspected by thermal images, although environment influence and image angle of capture may result in wrong information interpretation. This work proposes a system that aims to achieve these two functions: develop the 3 dimensions real environment reconstruction in the virtual world from captured images, which takes the analysis of the external environment characteristics to the office; and project on these 3D models the temperature obtained by a thermal camera, in order to analyze from many angles the equipment state regarding the presence of any faults. Fo that purpose, a pair of stereo cameras and a thermal camera were aligned and synchronized for image capture during the inspection. Every 3D point cloud obtained is obtained via the applied stereo vision algorithm. For cloud accumulation, or registration, a Visual Odometry technique is applied to gather camera pose from stereo image pair characteristics, followed by filters and overlap between clouds analysis. At the end, for each cloud synchronized with the thermal image, computer vision techniques are used to project the 3D points in the last one, and therefore obtain the temperature data observed. Putting all those pieces together, developed in the ROS framework in C++, a visual and thermal virtual model of the object to be inspected is obtained. The results show the reliability of the applied techniques, aside of models obtained in several scenarios.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoporUniversidade Federal de Juiz de Fora (UFJF)Programa de Pós-graduação em Engenharia ElétricaUFJFBrasilFaculdade de Engenhariahttp://creativecommons.org/licenses/by-sa/3.0/br/info:eu-repo/semantics/openAccessCNPQ::ENGENHARIAS::ENGENHARIA ELETRICASLAMModelo tridimensionalManutençãoInspeção térmicaSLAM3D modelMaintenanceThermal inspectionReconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutençãoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFJFinstname:Universidade Federal de Juiz de Fora (UFJF)instacron:UFJFORIGINALviniciusferreiravidal.pdfviniciusferreiravidal.pdfapplication/pdf25831921https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/6/viniciusferreiravidal.pdf377a470c30b4dafb6dc04a79e9a12e35MD56CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81031https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/7/license_rdf9b85e4235558a2887c2be3998124b615MD57TEXTviniciusferreiravidal.pdf.txtviniciusferreiravidal.pdf.txtExtracted texttext/plain171734https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/9/viniciusferreiravidal.pdf.txt215ddfd35985ddae7ab3a72804caeec0MD59THUMBNAILviniciusferreiravidal.pdf.jpgviniciusferreiravidal.pdf.jpgGenerated Thumbnailimage/jpeg1130https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/10/viniciusferreiravidal.pdf.jpgd59a59c278f9b84e32b68c710ce46227MD510LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/8/license.txt8a4605be74aa9ea9d79846c1fba20a33MD58ufjf/102902019-07-12 03:07:01.371oai:hermes.cpd.ufjf.br:ufjf/10290Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttps://repositorio.ufjf.br/oai/requestopendoar:2019-07-12T06:07:01Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)false |
dc.title.pt_BR.fl_str_mv |
Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção |
title |
Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção |
spellingShingle |
Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção Vidal, Vinicius Ferreira CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA SLAM Modelo tridimensional Manutenção Inspeção térmica SLAM 3D model Maintenance Thermal inspection |
title_short |
Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção |
title_full |
Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção |
title_fullStr |
Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção |
title_full_unstemmed |
Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção |
title_sort |
Reconstrução 3D virtual de componentes reais com dados térmicos para inspeção e manutenção |
author |
Vidal, Vinicius Ferreira |
author_facet |
Vidal, Vinicius Ferreira |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Honório, Leonardo de Mello |
dc.contributor.advisor1Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4707900U4 |
dc.contributor.advisor-co1.fl_str_mv |
Marcato, André Luís Marques |
dc.contributor.advisor-co1Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4737297A6 |
dc.contributor.referee1.fl_str_mv |
Moreira, António Paulo Gomes Mendes |
dc.contributor.referee1Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4678717H8 |
dc.contributor.referee2.fl_str_mv |
Cerqueira, Augusto Santiago |
dc.contributor.referee2Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4763697Y0 |
dc.contributor.referee3.fl_str_mv |
Dantas, Mario Antonio Ribeiro |
dc.contributor.referee3Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4761699H4 |
dc.contributor.authorLattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4318120P9 |
dc.contributor.author.fl_str_mv |
Vidal, Vinicius Ferreira |
contributor_str_mv |
Honório, Leonardo de Mello Marcato, André Luís Marques Moreira, António Paulo Gomes Mendes Cerqueira, Augusto Santiago Dantas, Mario Antonio Ribeiro |
dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA |
topic |
CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA SLAM Modelo tridimensional Manutenção Inspeção térmica SLAM 3D model Maintenance Thermal inspection |
dc.subject.por.fl_str_mv |
SLAM Modelo tridimensional Manutenção Inspeção térmica SLAM 3D model Maintenance Thermal inspection |
description |
Os avanços na última década na área da visão computacional, em termos tanto de hardware como de software, permitiram a expansão da aplicação da realidade virtual e localização e mapeamento simultâneos (SLAM) de câmeras no ambiente. Com isso diversas áreas foram beneficiadas, incluindo a manutenção de equipamentos. No caso de equipamentos no setor elétrico, diversos defeitos ocasionam aumento relevante de temperatura, que podem ser inspecionados por imagens térmicas, porém cuidados como influência do ambiente e ângulo de visão podem resultar em interpretações errôneas. Esse trabalho traz um sistema que visa atingir essas duas funções: realizar a reconstrução do ambiente real em 3 dimensões no mundo virtual a partir de imagens obtidas por câmeras, o que traz para o escritório a análise do ambiente externo e suas características; e projetar sobre esse modelo 3D dados de temperatura obtidos por uma câmera térmica, a fim de analisar de todos os ângulos o estado do objeto que se deseja avaliar quanto à presença de defeitos. Para isso, um par de câmeras estéreo e uma câmera térmica são alinhadas e sincronizadas para captação de imagens durante inspeção. Cada nuvem de pontos 3D é obtida com a técnica de visão estéreo empregada. Para a união, ou registro dessas nuvens, é empregada uma técnica de Odometria Visual para definir a pose das câmeras segundo as características das imagens do par estéreo, seguida de filtros segundo overlap entre as nuvens. Por fim, em cada nuvem obtida e sincronizada com a imagem térmica, técnicas de visão computacional são usadas para projetar os pontos em 3 dimensões na última e obter assim seu dado de temperatura observado pela câmera. Unindo todas essas técnicas, desenvolvidas com o auxílio do framework ROS em C++, é obtido um modelo virtual com informações visuais e térmicas do ambiente e objeto inspecionado pelo equipamento. Os resultados mostram a confiabilidade das técnicas empregadas, juntamente com modelos obtidos satisfatoriamente em diversos cenários. |
publishDate |
2019 |
dc.date.accessioned.fl_str_mv |
2019-07-11T16:43:22Z |
dc.date.available.fl_str_mv |
2019-06-25 2019-07-11T16:43:22Z |
dc.date.issued.fl_str_mv |
2019-05-13 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufjf.br/jspui/handle/ufjf/10290 |
url |
https://repositorio.ufjf.br/jspui/handle/ufjf/10290 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-sa/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-sa/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Juiz de Fora (UFJF) |
dc.publisher.program.fl_str_mv |
Programa de Pós-graduação em Engenharia Elétrica |
dc.publisher.initials.fl_str_mv |
UFJF |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Faculdade de Engenharia |
publisher.none.fl_str_mv |
Universidade Federal de Juiz de Fora (UFJF) |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFJF instname:Universidade Federal de Juiz de Fora (UFJF) instacron:UFJF |
instname_str |
Universidade Federal de Juiz de Fora (UFJF) |
instacron_str |
UFJF |
institution |
UFJF |
reponame_str |
Repositório Institucional da UFJF |
collection |
Repositório Institucional da UFJF |
bitstream.url.fl_str_mv |
https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/6/viniciusferreiravidal.pdf https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/7/license_rdf https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/9/viniciusferreiravidal.pdf.txt https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/10/viniciusferreiravidal.pdf.jpg https://repositorio.ufjf.br/jspui/bitstream/ufjf/10290/8/license.txt |
bitstream.checksum.fl_str_mv |
377a470c30b4dafb6dc04a79e9a12e35 9b85e4235558a2887c2be3998124b615 215ddfd35985ddae7ab3a72804caeec0 d59a59c278f9b84e32b68c710ce46227 8a4605be74aa9ea9d79846c1fba20a33 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF) |
repository.mail.fl_str_mv |
|
_version_ |
1801661358388805632 |