2D–3D spatial registration for remote inspection of power substations
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Tese |
Idioma: | eng |
Título da fonte: | Repositório Institucional da UFU |
Texto Completo: | https://repositorio.ufu.br/handle/123456789/31640 http://doi.org/10.14393/ufu.te.2021.198 |
Resumo: | Remote inspection and supervisory control are critical features for smart factories, civilian surveillance, power systems, among other domains. For reducing the time to make decisions, operators must have both a high situation awareness, implying a considerable amount of data to be presented, and minimal sensory load. Recent research suggests the adoption of computer vision techniques for automatic inspection, as well as virtual reality (VR) as an alternative to traditional SCADA interfaces. Nevertheless, although VR may provide a good representation of a substation’s state, it lacks some real-time information, available from online field cameras and microphones. Since these two sources of information (VR and field information) are not integrated into one single solution, we miss the opportunity of using VR as a SCADA-aware remote inspection tool, during operation and disaster-response routines. This work discusses a method to augment virtual environments of power substations with field images, enabling operators to promptly see a virtual representation of the inspected area's surroundings. The resulting environment is integrated with an image-based state inference machine, continuously checking the inferred states against the ones reported by the SCADA database. Whenever a discrepancy is found, an alarm is triggered and the virtual camera can be immediately teleported to the affected region, speeding up system reestablishment. The solution is based on a client-server architecture and allows multiple cameras deployed in multiple substations. Our results concern the quality of the 2D–3D registration and the rendering framerate for a simple scenario. The collected quantitative metrics suggest good camera pose estimations and registrations, as well as an arguably optimal rendering framerate for substations' equipment inspection. |
id |
UFU_ee7538d707c8f59202340e34235e62c7 |
---|---|
oai_identifier_str |
oai:repositorio.ufu.br:123456789/31640 |
network_acronym_str |
UFU |
network_name_str |
Repositório Institucional da UFU |
repository_id_str |
|
spelling |
2D–3D spatial registration for remote inspection of power substationsRegistro espacial 2D–3D para a inspeção remota de subestações de energiaAugmented virtualitySupervisory controlRemote inspectionPower substationsPose estimationVirtualidade aumentadaControle supervisórioInspeção remotaSubestações de energiaEstimativa de poseCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::PROCESSAMENTO GRAFICO (GRAPHICS)CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::SISTEMAS ELETRICOS DE POTENCIA::TRANSMISSAO DA ENERGIA ELETRICA, DISTRIBUICAO DA ENERGIA ELETRICASubestações elétricasInspeção remotaRealidade virtualRemote inspection and supervisory control are critical features for smart factories, civilian surveillance, power systems, among other domains. For reducing the time to make decisions, operators must have both a high situation awareness, implying a considerable amount of data to be presented, and minimal sensory load. Recent research suggests the adoption of computer vision techniques for automatic inspection, as well as virtual reality (VR) as an alternative to traditional SCADA interfaces. Nevertheless, although VR may provide a good representation of a substation’s state, it lacks some real-time information, available from online field cameras and microphones. Since these two sources of information (VR and field information) are not integrated into one single solution, we miss the opportunity of using VR as a SCADA-aware remote inspection tool, during operation and disaster-response routines. This work discusses a method to augment virtual environments of power substations with field images, enabling operators to promptly see a virtual representation of the inspected area's surroundings. The resulting environment is integrated with an image-based state inference machine, continuously checking the inferred states against the ones reported by the SCADA database. Whenever a discrepancy is found, an alarm is triggered and the virtual camera can be immediately teleported to the affected region, speeding up system reestablishment. The solution is based on a client-server architecture and allows multiple cameras deployed in multiple substations. Our results concern the quality of the 2D–3D registration and the rendering framerate for a simple scenario. The collected quantitative metrics suggest good camera pose estimations and registrations, as well as an arguably optimal rendering framerate for substations' equipment inspection.CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorCEMIG - Companhia Energética de Minas GeraisCNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoFAPEMIG - Fundação de Amparo a Pesquisa do Estado de Minas GeraisTese (Doutorado)A inspeção remota e o controle supervisório são requisitos críticos para fábricas modernas, vigilância de civis, sistemas de energia e outras áreas. Para reduzir o tempo da tomada de decisão, os operadores precisam de uma elevada consciência da situação em campo, o que implica em uma grande quantidade de dados a serem apresentados, mas com menor carga sensorial possível. Estudos recentes sugerem a adoção de técnicas de visão computacional para inspeção automática, e a Realidade Virtual (VR) como uma alternativa às interfaces tradicionais do SCADA. Entretanto, apesar de fornecer uma boa representação do estado da subestação, os ambientes virtuais carecem de algumas informações de campo, provenientes de câmeras e microfones. Como essas duas fontes de dados (VR e dispositivos de captura) não são integrados em uma única solução, perde-se a oportunidade de usar VR como uma ferramenta de inspeção remota conectada ao SCADA, durante a operação e rotinas de respostas a desastres. Este trabalho trata de um método para aumentar ambientes virtuais de subestações com imagens de campo, permitindo aos operadores a rápida visualização de uma representação virtual do entorno da área monitorada. O ambiente resultante é integrado com uma máquina de inferência estados por imagens, comparando continuamente os estados inferidos com aqueles reportados pela base SCADA. Na ocasião de uma discrepância, um alarme é gerado e possibilita que a câmera virtual seja imediatamente teletransportada para a região afetada, acelerando o processo de retomada do sistema. A solução se baseia em uma arquitetura cliente-servidor e permite múltiplas câmeras presentes em múltiplas subestações. Os resultados dizem respeito à qualidade do registro 2D–3D e à taxa de renderização para um cenário simples. As métricas quantitativas coletadas sugerem bons níveis de registro e estimativa de pose de câmera, além de uma taxa ótima de renderização para fins de inspeção de equipamentos em subestações.Universidade Federal de UberlândiaBrasilPrograma de Pós-graduação em Engenharia ElétricaCardoso, Alexandrehttp://lattes.cnpq.br/3767009717402045http://lattes.cnpq.br/1972943414602000Lamounier Júnior, Edgard Afonsohttp://lattes.cnpq.br/0239619592699303Lopes, Renato de Aquinohttp://lattes.cnpq.br/3686451569520273Cunha, Márcio José dahttp://lattes.cnpq.br/5012626154282569Tori, Romerohttp://lattes.cnpq.br/8901320181295016Soares, Luciano Pereirahttp://lattes.cnpq.br/5252110004117416Mattioli, Leandro Resende2021-04-28T11:29:01Z2021-04-28T11:29:01Z2021-03-30info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfMATTIOLI, Leandro Resende. 2D–3D spatial registration for remote inspection of power substations. 2021. 99 f. Tese (Doutorado em Engenharia Elétrica) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.te.2021.198.https://repositorio.ufu.br/handle/123456789/31640http://doi.org/10.14393/ufu.te.2021.198enghttp://creativecommons.org/licenses/by-nc-nd/3.0/us/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFUinstname:Universidade Federal de Uberlândia (UFU)instacron:UFU2022-10-04T14:33:09Zoai:repositorio.ufu.br:123456789/31640Repositório InstitucionalONGhttp://repositorio.ufu.br/oai/requestdiinf@dirbi.ufu.bropendoar:2022-10-04T14:33:09Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)false |
dc.title.none.fl_str_mv |
2D–3D spatial registration for remote inspection of power substations Registro espacial 2D–3D para a inspeção remota de subestações de energia |
title |
2D–3D spatial registration for remote inspection of power substations |
spellingShingle |
2D–3D spatial registration for remote inspection of power substations Mattioli, Leandro Resende Augmented virtuality Supervisory control Remote inspection Power substations Pose estimation Virtualidade aumentada Controle supervisório Inspeção remota Subestações de energia Estimativa de pose CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::PROCESSAMENTO GRAFICO (GRAPHICS) CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::SISTEMAS ELETRICOS DE POTENCIA::TRANSMISSAO DA ENERGIA ELETRICA, DISTRIBUICAO DA ENERGIA ELETRICA Subestações elétricas Inspeção remota Realidade virtual |
title_short |
2D–3D spatial registration for remote inspection of power substations |
title_full |
2D–3D spatial registration for remote inspection of power substations |
title_fullStr |
2D–3D spatial registration for remote inspection of power substations |
title_full_unstemmed |
2D–3D spatial registration for remote inspection of power substations |
title_sort |
2D–3D spatial registration for remote inspection of power substations |
author |
Mattioli, Leandro Resende |
author_facet |
Mattioli, Leandro Resende |
author_role |
author |
dc.contributor.none.fl_str_mv |
Cardoso, Alexandre http://lattes.cnpq.br/3767009717402045 http://lattes.cnpq.br/1972943414602000 Lamounier Júnior, Edgard Afonso http://lattes.cnpq.br/0239619592699303 Lopes, Renato de Aquino http://lattes.cnpq.br/3686451569520273 Cunha, Márcio José da http://lattes.cnpq.br/5012626154282569 Tori, Romero http://lattes.cnpq.br/8901320181295016 Soares, Luciano Pereira http://lattes.cnpq.br/5252110004117416 |
dc.contributor.author.fl_str_mv |
Mattioli, Leandro Resende |
dc.subject.por.fl_str_mv |
Augmented virtuality Supervisory control Remote inspection Power substations Pose estimation Virtualidade aumentada Controle supervisório Inspeção remota Subestações de energia Estimativa de pose CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::PROCESSAMENTO GRAFICO (GRAPHICS) CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::SISTEMAS ELETRICOS DE POTENCIA::TRANSMISSAO DA ENERGIA ELETRICA, DISTRIBUICAO DA ENERGIA ELETRICA Subestações elétricas Inspeção remota Realidade virtual |
topic |
Augmented virtuality Supervisory control Remote inspection Power substations Pose estimation Virtualidade aumentada Controle supervisório Inspeção remota Subestações de energia Estimativa de pose CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::PROCESSAMENTO GRAFICO (GRAPHICS) CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::SISTEMAS ELETRICOS DE POTENCIA::TRANSMISSAO DA ENERGIA ELETRICA, DISTRIBUICAO DA ENERGIA ELETRICA Subestações elétricas Inspeção remota Realidade virtual |
description |
Remote inspection and supervisory control are critical features for smart factories, civilian surveillance, power systems, among other domains. For reducing the time to make decisions, operators must have both a high situation awareness, implying a considerable amount of data to be presented, and minimal sensory load. Recent research suggests the adoption of computer vision techniques for automatic inspection, as well as virtual reality (VR) as an alternative to traditional SCADA interfaces. Nevertheless, although VR may provide a good representation of a substation’s state, it lacks some real-time information, available from online field cameras and microphones. Since these two sources of information (VR and field information) are not integrated into one single solution, we miss the opportunity of using VR as a SCADA-aware remote inspection tool, during operation and disaster-response routines. This work discusses a method to augment virtual environments of power substations with field images, enabling operators to promptly see a virtual representation of the inspected area's surroundings. The resulting environment is integrated with an image-based state inference machine, continuously checking the inferred states against the ones reported by the SCADA database. Whenever a discrepancy is found, an alarm is triggered and the virtual camera can be immediately teleported to the affected region, speeding up system reestablishment. The solution is based on a client-server architecture and allows multiple cameras deployed in multiple substations. Our results concern the quality of the 2D–3D registration and the rendering framerate for a simple scenario. The collected quantitative metrics suggest good camera pose estimations and registrations, as well as an arguably optimal rendering framerate for substations' equipment inspection. |
publishDate |
2021 |
dc.date.none.fl_str_mv |
2021-04-28T11:29:01Z 2021-04-28T11:29:01Z 2021-03-30 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
MATTIOLI, Leandro Resende. 2D–3D spatial registration for remote inspection of power substations. 2021. 99 f. Tese (Doutorado em Engenharia Elétrica) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.te.2021.198. https://repositorio.ufu.br/handle/123456789/31640 http://doi.org/10.14393/ufu.te.2021.198 |
identifier_str_mv |
MATTIOLI, Leandro Resende. 2D–3D spatial registration for remote inspection of power substations. 2021. 99 f. Tese (Doutorado em Engenharia Elétrica) - Universidade Federal de Uberlândia, Uberlândia, 2021. DOI http://doi.org/10.14393/ufu.te.2021.198. |
url |
https://repositorio.ufu.br/handle/123456789/31640 http://doi.org/10.14393/ufu.te.2021.198 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/us/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/us/ |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal de Uberlândia Brasil Programa de Pós-graduação em Engenharia Elétrica |
publisher.none.fl_str_mv |
Universidade Federal de Uberlândia Brasil Programa de Pós-graduação em Engenharia Elétrica |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFU instname:Universidade Federal de Uberlândia (UFU) instacron:UFU |
instname_str |
Universidade Federal de Uberlândia (UFU) |
instacron_str |
UFU |
institution |
UFU |
reponame_str |
Repositório Institucional da UFU |
collection |
Repositório Institucional da UFU |
repository.name.fl_str_mv |
Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU) |
repository.mail.fl_str_mv |
diinf@dirbi.ufu.br |
_version_ |
1805569557773942784 |