Geometric model of a dual-fisheye system composed of hyper-hemispherical lenses

Detalhes bibliográficos
Autor(a) principal: Castanheiro, Letícia Ferrari [UNESP]
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da UNESP
Texto Completo: http://hdl.handle.net/11449/192117
Resumo: A combinação de duas lentes com FOV hiper-hemisférico em posição opostas pode gerar um sistema omnidirecional (FOV 360°) leve, compacto e de baixo custo, como Ricoh Theta S e GoPro Fusion. Entretanto, apenas algumas técnicas e modelos matemáticos para a calibração um sistema com duas lentes hiper-hemisféricas são apresentadas na literatura. Nesta pesquisa, é avaliado e definido um modelo geométrico para calibração de sistemas omnidirecionais compostos por duas lentes hiper-hemisféricas e apresenta-se algumas aplicações com esse tipo de sistema. A calibração das câmaras foi realizada no programa CMC (calibração de múltiplas câmeras) utilizando imagens obtidas a partir de vídeos feitos com a câmara Ricoh Theta S no campo de calibração 360°. A câmara Ricoh Theta S é composto por duas lentes hiper-hemisféricas fisheye que cobrem 190° cada uma. Com o objetivo de avaliar as melhorias na utilização de pontos em comum entre as imagens, dois conjuntos de dados de pontos foram considerados: (1) apenas pontos no campo hemisférico, e (2) pontos em todo o campo de imagem (isto é, adicionar pontos no campo de imagem hiper-hemisférica). Primeiramente, os modelos ângulo equisólido, equidistante, estereográfico e ortogonal combinados com o modelo de distorção Conrady-Brown foram testados para a calibração de um sensor da câmara Ricoh Theta S. Os modelos de ângulo-equisólido e estereográfico apresentaram resultados melhores do que os outros modelos. Portanto, esses dois modelos de projeção foram utilizados em uma calibração simultânea da câmera (ou seja, ambos os sensores Ricoh Theta S foram considerados em um mesmo procedimento). POIs (parâmetros de orientação interior) e POEs (parâmetros de orientação exterior) de ambos os sensores, e POR (parâmetros de orientação relativa) foram estimados em um ajustamento de blocos com injunção de estabilidade dos ROPs. Os modelos ângulo-equisólido e estereográfico apresentaram bons resultados com o uso dos pontos na área hiper-hemisférica da imagem para a estimação dos POIs, POEs e PORs. No entanto, o ajustamento baseado no modelo ângulo-equisólido com injunção de estabilidade apresentou os melhores resultados. Neste trabalho, também é apresentado duas aplicações com sistemas omnidirecionais: mapeamento 3D de uma área urbana usando um sistema de mapeamento móvel terrestre, composto pela câmara Ricoh Theta S, e a geração da nuvem 3D de uma área agrícola com a câmara GoPro Fusion, que também é composta por duas lentes hiper-hemisféricas. Ambos experimentos apresentaram o potencial do uso de sistemas omnidirecionais na geração de nuvem de pontos fotogramétrica e extração de atributos importantes para cada aplicação.
id UNSP_002d21b3c69b09b14baa58b3f4b5cbca
oai_identifier_str oai:repositorio.unesp.br:11449/192117
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str 2946
spelling Geometric model of a dual-fisheye system composed of hyper-hemispherical lensesModelo geométrico para um sistema dual-fisheye composto por lentes hiper-hemisféricasLente hiper-hemisféricaModelos de projeção fisheyeSistema omnidirecionalSistema polidióptricoCalibração de múltiplas câmarasInjunção de estabilidadeMapeamento 3DHyper-hemispherical lensFisheye projection modelOmnidirectional systemPolydioptric systemMulti-camera calibrationStability constraints3D mappingA combinação de duas lentes com FOV hiper-hemisférico em posição opostas pode gerar um sistema omnidirecional (FOV 360°) leve, compacto e de baixo custo, como Ricoh Theta S e GoPro Fusion. Entretanto, apenas algumas técnicas e modelos matemáticos para a calibração um sistema com duas lentes hiper-hemisféricas são apresentadas na literatura. Nesta pesquisa, é avaliado e definido um modelo geométrico para calibração de sistemas omnidirecionais compostos por duas lentes hiper-hemisféricas e apresenta-se algumas aplicações com esse tipo de sistema. A calibração das câmaras foi realizada no programa CMC (calibração de múltiplas câmeras) utilizando imagens obtidas a partir de vídeos feitos com a câmara Ricoh Theta S no campo de calibração 360°. A câmara Ricoh Theta S é composto por duas lentes hiper-hemisféricas fisheye que cobrem 190° cada uma. Com o objetivo de avaliar as melhorias na utilização de pontos em comum entre as imagens, dois conjuntos de dados de pontos foram considerados: (1) apenas pontos no campo hemisférico, e (2) pontos em todo o campo de imagem (isto é, adicionar pontos no campo de imagem hiper-hemisférica). Primeiramente, os modelos ângulo equisólido, equidistante, estereográfico e ortogonal combinados com o modelo de distorção Conrady-Brown foram testados para a calibração de um sensor da câmara Ricoh Theta S. Os modelos de ângulo-equisólido e estereográfico apresentaram resultados melhores do que os outros modelos. Portanto, esses dois modelos de projeção foram utilizados em uma calibração simultânea da câmera (ou seja, ambos os sensores Ricoh Theta S foram considerados em um mesmo procedimento). POIs (parâmetros de orientação interior) e POEs (parâmetros de orientação exterior) de ambos os sensores, e POR (parâmetros de orientação relativa) foram estimados em um ajustamento de blocos com injunção de estabilidade dos ROPs. Os modelos ângulo-equisólido e estereográfico apresentaram bons resultados com o uso dos pontos na área hiper-hemisférica da imagem para a estimação dos POIs, POEs e PORs. No entanto, o ajustamento baseado no modelo ângulo-equisólido com injunção de estabilidade apresentou os melhores resultados. Neste trabalho, também é apresentado duas aplicações com sistemas omnidirecionais: mapeamento 3D de uma área urbana usando um sistema de mapeamento móvel terrestre, composto pela câmara Ricoh Theta S, e a geração da nuvem 3D de uma área agrícola com a câmara GoPro Fusion, que também é composta por duas lentes hiper-hemisféricas. Ambos experimentos apresentaram o potencial do uso de sistemas omnidirecionais na geração de nuvem de pontos fotogramétrica e extração de atributos importantes para cada aplicação.The arrangement of two hyper-hemispherical fisheye lenses in opposite position can design a light weight, small and low-cost omnidirectional system (360° FOV), e.g. Ricoh Theta S and GoPro Fusion. However, only a few techniques are presented in the literature to calibrate a dual-fisheye system. In this research, a geometric model for dual-fisheye system calibration was evaluated, and some applications with this type of system are presented. The calibrating bundle adjustment was performed in CMC (calibration of multiple cameras) software by using the Ricoh Theta video frames of the 360° calibration field. The Ricoh Theta S system is composed of two hyper-hemispherical fisheye lenses with 190° FOV each one. In order to evaluate the improvement in applying points in the hyper-hemispherical image field, two data set of points were considered: (1) observations that are only in the hemispherical field, and (2) points in all image field, i.e. adding points in the hyper-hemispherical image field. First, one sensor of the Ricoh Theta S system was calibrated in a bundle adjustment based on the equidistant, equisolid-angle, stereographic and orthogonal models combined with Conrady-Brown distortion model. Results showed that the equisolid-angle and stereographic models can provide better solutions than those of the others projection models. Therefore, these two projection models were implemented in a simultaneous camera calibration, in which the both Ricoh Theta sensors were considered in a same procedure. IOPs (interior orientation parameters) and EOPs (exterior orientation parameters) of both sensors, and a set of ROPs (relative orientation parameters) were estimated in a bundle adjustment based on stability constraints of ROPs. Both equisolid-angle and stereographic models presented good performances; meanwhile, the equisolid-angle model showed more stable results than stereographic model when adding observation in the hyper-hemispherical image field. In this research, two applications applying dual-fisheye cameras are also investigated: 3D city mapping using a PMTS (portable mobile terrestrial system) that is composed of Ricoh Theta S dual-camera, and 3D crop modelling using GoPro Fusion dual-camera. Both experimental assessments presented the potential advantage of using the omnidirectional system to generate a 3D point cloud, in which can extract important attributes for each application.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)CAPES: 1774590CAPES: 88882.433941/2019-01Universidade Estadual Paulista (Unesp)Tommaselli, Antonio Maria Garcia [UNESP]Berveglieri, Adilson [UNESP]Universidade Estadual Paulista (Unesp)Castanheiro, Letícia Ferrari [UNESP]2020-04-08T12:15:10Z2020-04-08T12:15:10Z2020-03-03info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfapplication/pdfhttp://hdl.handle.net/11449/19211700092996833004129043P0enginfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2024-06-20T12:24:56Zoai:repositorio.unesp.br:11449/192117Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestopendoar:29462024-06-20T12:24:56Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Geometric model of a dual-fisheye system composed of hyper-hemispherical lenses
Modelo geométrico para um sistema dual-fisheye composto por lentes hiper-hemisféricas
title Geometric model of a dual-fisheye system composed of hyper-hemispherical lenses
spellingShingle Geometric model of a dual-fisheye system composed of hyper-hemispherical lenses
Castanheiro, Letícia Ferrari [UNESP]
Lente hiper-hemisférica
Modelos de projeção fisheye
Sistema omnidirecional
Sistema polidióptrico
Calibração de múltiplas câmaras
Injunção de estabilidade
Mapeamento 3D
Hyper-hemispherical lens
Fisheye projection model
Omnidirectional system
Polydioptric system
Multi-camera calibration
Stability constraints
3D mapping
title_short Geometric model of a dual-fisheye system composed of hyper-hemispherical lenses
title_full Geometric model of a dual-fisheye system composed of hyper-hemispherical lenses
title_fullStr Geometric model of a dual-fisheye system composed of hyper-hemispherical lenses
title_full_unstemmed Geometric model of a dual-fisheye system composed of hyper-hemispherical lenses
title_sort Geometric model of a dual-fisheye system composed of hyper-hemispherical lenses
author Castanheiro, Letícia Ferrari [UNESP]
author_facet Castanheiro, Letícia Ferrari [UNESP]
author_role author
dc.contributor.none.fl_str_mv Tommaselli, Antonio Maria Garcia [UNESP]
Berveglieri, Adilson [UNESP]
Universidade Estadual Paulista (Unesp)
dc.contributor.author.fl_str_mv Castanheiro, Letícia Ferrari [UNESP]
dc.subject.por.fl_str_mv Lente hiper-hemisférica
Modelos de projeção fisheye
Sistema omnidirecional
Sistema polidióptrico
Calibração de múltiplas câmaras
Injunção de estabilidade
Mapeamento 3D
Hyper-hemispherical lens
Fisheye projection model
Omnidirectional system
Polydioptric system
Multi-camera calibration
Stability constraints
3D mapping
topic Lente hiper-hemisférica
Modelos de projeção fisheye
Sistema omnidirecional
Sistema polidióptrico
Calibração de múltiplas câmaras
Injunção de estabilidade
Mapeamento 3D
Hyper-hemispherical lens
Fisheye projection model
Omnidirectional system
Polydioptric system
Multi-camera calibration
Stability constraints
3D mapping
description A combinação de duas lentes com FOV hiper-hemisférico em posição opostas pode gerar um sistema omnidirecional (FOV 360°) leve, compacto e de baixo custo, como Ricoh Theta S e GoPro Fusion. Entretanto, apenas algumas técnicas e modelos matemáticos para a calibração um sistema com duas lentes hiper-hemisféricas são apresentadas na literatura. Nesta pesquisa, é avaliado e definido um modelo geométrico para calibração de sistemas omnidirecionais compostos por duas lentes hiper-hemisféricas e apresenta-se algumas aplicações com esse tipo de sistema. A calibração das câmaras foi realizada no programa CMC (calibração de múltiplas câmeras) utilizando imagens obtidas a partir de vídeos feitos com a câmara Ricoh Theta S no campo de calibração 360°. A câmara Ricoh Theta S é composto por duas lentes hiper-hemisféricas fisheye que cobrem 190° cada uma. Com o objetivo de avaliar as melhorias na utilização de pontos em comum entre as imagens, dois conjuntos de dados de pontos foram considerados: (1) apenas pontos no campo hemisférico, e (2) pontos em todo o campo de imagem (isto é, adicionar pontos no campo de imagem hiper-hemisférica). Primeiramente, os modelos ângulo equisólido, equidistante, estereográfico e ortogonal combinados com o modelo de distorção Conrady-Brown foram testados para a calibração de um sensor da câmara Ricoh Theta S. Os modelos de ângulo-equisólido e estereográfico apresentaram resultados melhores do que os outros modelos. Portanto, esses dois modelos de projeção foram utilizados em uma calibração simultânea da câmera (ou seja, ambos os sensores Ricoh Theta S foram considerados em um mesmo procedimento). POIs (parâmetros de orientação interior) e POEs (parâmetros de orientação exterior) de ambos os sensores, e POR (parâmetros de orientação relativa) foram estimados em um ajustamento de blocos com injunção de estabilidade dos ROPs. Os modelos ângulo-equisólido e estereográfico apresentaram bons resultados com o uso dos pontos na área hiper-hemisférica da imagem para a estimação dos POIs, POEs e PORs. No entanto, o ajustamento baseado no modelo ângulo-equisólido com injunção de estabilidade apresentou os melhores resultados. Neste trabalho, também é apresentado duas aplicações com sistemas omnidirecionais: mapeamento 3D de uma área urbana usando um sistema de mapeamento móvel terrestre, composto pela câmara Ricoh Theta S, e a geração da nuvem 3D de uma área agrícola com a câmara GoPro Fusion, que também é composta por duas lentes hiper-hemisféricas. Ambos experimentos apresentaram o potencial do uso de sistemas omnidirecionais na geração de nuvem de pontos fotogramétrica e extração de atributos importantes para cada aplicação.
publishDate 2020
dc.date.none.fl_str_mv 2020-04-08T12:15:10Z
2020-04-08T12:15:10Z
2020-03-03
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/11449/192117
000929968
33004129043P0
url http://hdl.handle.net/11449/192117
identifier_str_mv 000929968
33004129043P0
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv
_version_ 1803649710712422400