Adaptive Depth Map Estimation for Light Field Cameras using Machine Learning

Detalhes bibliográficos
Autor(a) principal: Figueiredo, Daniel Jorge Oliveira
Data de Publicação: 2016
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/81638
Resumo: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
id RCAP_f10bff422947c6d4d6b4fc1cd476d4b5
oai_identifier_str oai:estudogeral.uc.pt:10316/81638
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Adaptive Depth Map Estimation for Light Field Cameras using Machine LearningMapa denso de profundidade para câmaras de campo de luz multi-focus - uma implementação melhorada e eficienteCâmaras PlenópticasCampo de luzEstimação de profundidadeDados plenópticos simuladosRaytrixPlenoptic CamerasLight FieldDepth EstimationSynthetic Plenoptic dataRaytrixDissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaCâmaras de campo de luz, também conhecidas por câmaras plenópticas, capturam informação redundante sobre a luz que emana de uma cena. Esta redundância permite a estimação da profundidade da cena, bem como a focagem da imagem depois desta ser tirada. Apesar do conceito por de trás das câmaras de campo de luz ter sido formalizado em 1908, foi apenas recentemente que estas câmaras começaram a ser comercializadas.Existem dois tipos de câmaras plenópticas, a câmara plenóptica standard e a câmara plenoptica multi-focus, sendo que a Lytro é o fabricante mais conhecido para a câmara plenóptica standard e a Raytrix para a multi-focus. Apesar das vantagens demonstradas pela câmara plenóptica standard, como a sua simplicidade e o seu preço reduzido, no nosso trabalho utilizamos imagens tiradas por uma câmara plenóptica multi-focus devido à sua qualidade e à sua maior resolução.Nesta tese apresentamos um algoritmo automático capaz de estimar a profundidade de uma cena como se fosse capturada por uma câmara convencional.A estimação de profundidade é iniciada com um algoritmo tipo RANSAC que gera uma nuvem de pontos. Uma vez que esta nuvem de pontos contém outliers, no trabalho anterior, foi aplicado um filtro de remoção de outliers de forma a obter um resultado mais preciso. Esta nuvem de pontos não é imune a oclusões. De forma a resolver este problema aplicamos um z-buffer, eliminando, desta forma, todos os pontos ocluídos. No que diz respeito às melhorias na estimação do mapa de profundidades, apresentamos um método de "supervised machine learning" que gera um mapa adaptativo com várias profundidades por micro lente, sendo uma alternativa sólida aos métodos apresentados nos trabalhos anteriores. Este mapa de profundidades irá servir como um passo intermédio para a geração do mapa denso de profundidades. Apresentamos ainda uma implementação do algoritmo de sintetização do mapa denso de profundidades. Com as melhorias introduzidas neste algoritmo somos capazes de estimar um mapa denso de profundidades independentemente do número de profundidades por micro lente presente no mapa intermédio.No trabalho anterior foi criado um simulador de imagens plenópticas, permitindo criar data sets plenópticos com parâmetros específicos. Sabendo a profundidade real destes data sets podemos calcular o erro presente nas nossas estimações. Isto permite-nos testar o algoritmo, melhorar o algoritmo e fornecer orientações para trabalhos futuros.O nosso algoritmo foi também testado com imagens plenópticas disponibilizadas publicamente pela Raytrix, mas, uma vez que a Raytrix não fornece a profundidade real dos seus data sets, não nos é possível calcular o erro das nossas estimações, desta forma apenas nos é possível fazer uma comparação visual dos resultados.Light field cameras, also known as plenoptic cameras, capture redundant information from the light that emanates from a scene. This redundancy allows a depth estimation of the captured scene and to refocus the image after it has been taken. Even though the light field camera's concept was first formalized in 1908, it was not until recently that these cameras were produced for commercial use. There are two types of plenoptic cameras, the standard plenoptic camera and the multi-focus plenoptic camera, being Lytro the most popular manufacturer of the standard plenoptic and Raytrix the most popular manufacturer of the multi-focus one. Despite the advantages of the standard plenoptic camera like their simplicity and lower price, our work uses results captured by a multi-focus plenoptic camera due to its quality and higher resolution images.In this thesis we present an automatic algorithm capable of estimating the depth of a captured scene as if it was taken by a pinhole camera. The depth estimation starts with a RANSAC-like algorithm, generating a point cloud. Since this point cloud contains some outliers, in the previous work, an outlier removal filter was applied to achieve a more accurate point set. This point cloud is not immune to occlusions so, in order to solve this problem, we applied a z-buffer, eliminating all the occluded points from the point cloud. Regarding the depth estimation improvements, we present a supervised machine learning method that generates an adaptive depth map with several depths per micro lens, presenting a solid alternative to the methods presented in the previous work. This depth map will serve as an intermediate step to the dense depth map generation.We also present an improved implementation of the dense depth map synthesization algorithm. With the improvements made to this algorithm we are able to estimate a dense depth map regardless of the number of depths per micro lens of the intermediate depth map. On the previous work a plenoptic data simulator was introduced, allowing us to create plenoptic data sets with specific parameters. By knowing the depth ground truth of these data sets we are able to measure the error between our estimation and the ground truth. Being able to do this we can test and improve our algorithm and provide guidelines to future work. Our algorithm was also tested with real plenoptic images provided by Raytrix, but, since Raytrix does not provide the depth ground truth of their data sets, we can not compute the error of our estimations, thus we are only able to make a visual comparison of the results.2016-09-29info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/81638http://hdl.handle.net/10316/81638TID:202056627engFigueiredo, Daniel Jorge Oliveirainfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2020-01-29T09:32:13Zoai:estudogeral.uc.pt:10316/81638Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:03:42.900638Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Adaptive Depth Map Estimation for Light Field Cameras using Machine Learning
Mapa denso de profundidade para câmaras de campo de luz multi-focus - uma implementação melhorada e eficiente
title Adaptive Depth Map Estimation for Light Field Cameras using Machine Learning
spellingShingle Adaptive Depth Map Estimation for Light Field Cameras using Machine Learning
Figueiredo, Daniel Jorge Oliveira
Câmaras Plenópticas
Campo de luz
Estimação de profundidade
Dados plenópticos simulados
Raytrix
Plenoptic Cameras
Light Field
Depth Estimation
Synthetic Plenoptic data
Raytrix
title_short Adaptive Depth Map Estimation for Light Field Cameras using Machine Learning
title_full Adaptive Depth Map Estimation for Light Field Cameras using Machine Learning
title_fullStr Adaptive Depth Map Estimation for Light Field Cameras using Machine Learning
title_full_unstemmed Adaptive Depth Map Estimation for Light Field Cameras using Machine Learning
title_sort Adaptive Depth Map Estimation for Light Field Cameras using Machine Learning
author Figueiredo, Daniel Jorge Oliveira
author_facet Figueiredo, Daniel Jorge Oliveira
author_role author
dc.contributor.author.fl_str_mv Figueiredo, Daniel Jorge Oliveira
dc.subject.por.fl_str_mv Câmaras Plenópticas
Campo de luz
Estimação de profundidade
Dados plenópticos simulados
Raytrix
Plenoptic Cameras
Light Field
Depth Estimation
Synthetic Plenoptic data
Raytrix
topic Câmaras Plenópticas
Campo de luz
Estimação de profundidade
Dados plenópticos simulados
Raytrix
Plenoptic Cameras
Light Field
Depth Estimation
Synthetic Plenoptic data
Raytrix
description Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
publishDate 2016
dc.date.none.fl_str_mv 2016-09-29
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/81638
http://hdl.handle.net/10316/81638
TID:202056627
url http://hdl.handle.net/10316/81638
identifier_str_mv TID:202056627
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133930503274496

Registros relacionados