ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality

Detalhes bibliográficos
Autor(a) principal: Pereira, Lidiane Teixeira
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Institucional da UFJF
Texto Completo: https://doi.org/10.34019/ufjf/di/2021/00328
https://repositorio.ufjf.br/jspui/handle/ufjf/13691
Resumo: Nos últimos anos percebemos o aumento e a popularização de aplicações de realidade aumentada. Entretanto, ´e comum que esses sistemas apresentem uma considerável discrepância visual entre elementos reais e virtuais, o que acarreta na falta de realismo, sendo esse um dos motivos que desencorajam o uso desse tipo de aplicação. Algoritmos baseados em física, como o ray tracing, geram renderizações com um alto grau de fotorrealismo e estão se popularizando após o recente desenvolvimento de aceleradores de hardware. Alguns trabalhos presentes na literatura combinam essas duas tecnologias, realidade aumentada e ray tracing, de forma rígida e sem modularização, tornando a solução dependente de frameworks específicos. Neste trabalho, propomos um middleware para integrar realidade aumentada e ray tracing em tempo real, através do mapeamento das coordenadas da câmera no framework de ray tracing e de um processo de composição de imagens. Além disso, o middleware funciona de forma modularizada, permitindo ao usuário escolher entre bibliotecas e frameworks existentes, os que melhor se adequem `as necessidades e competências do usuário. Construímos uma aplicação utilizando o middleware ARRay-Tracing para integrar dois frameworks de ray tracing, o Optix e o VKRay, a um framework de realidade aumentada, o artoolkitX, obtendo em tempo real reflexões e refrações mais realistas. Após a avaliação, concluímos que o ARRay-Tracing possibilita a integração modular sem acrescentar sobrecarga de processamento `a aplicação, atingindo a taxa de 30 quadros por segundo para a renderização de cenas de baixa complexidade.
id UFJF_f12e3612ed95f4721186ea4c1f313657
oai_identifier_str oai:hermes.cpd.ufjf.br:ufjf/13691
network_acronym_str UFJF
network_name_str Repositório Institucional da UFJF
repository_id_str
spelling Souza, Jairo Francisco dehttp://lattes.cnpq.br/4516605108233899Silva, Rodrigo Luis de Souza dahttp://lattes.cnpq.br/6878718102770367Vieira, Marcelo Bernardeshttp://lattes.cnpq.br/0858482819476716Apolinario Junior, Antonio Lopeshttp://lattes.cnpq.br/2847901878340953http://lattes.cnpq.br/3925045505720467Pereira, Lidiane Teixeira2022-01-24T14:45:00Z2022-01-032022-01-24T14:45:00Z2021-09-24https://doi.org/10.34019/ufjf/di/2021/00328https://repositorio.ufjf.br/jspui/handle/ufjf/13691Nos últimos anos percebemos o aumento e a popularização de aplicações de realidade aumentada. Entretanto, ´e comum que esses sistemas apresentem uma considerável discrepância visual entre elementos reais e virtuais, o que acarreta na falta de realismo, sendo esse um dos motivos que desencorajam o uso desse tipo de aplicação. Algoritmos baseados em física, como o ray tracing, geram renderizações com um alto grau de fotorrealismo e estão se popularizando após o recente desenvolvimento de aceleradores de hardware. Alguns trabalhos presentes na literatura combinam essas duas tecnologias, realidade aumentada e ray tracing, de forma rígida e sem modularização, tornando a solução dependente de frameworks específicos. Neste trabalho, propomos um middleware para integrar realidade aumentada e ray tracing em tempo real, através do mapeamento das coordenadas da câmera no framework de ray tracing e de um processo de composição de imagens. Além disso, o middleware funciona de forma modularizada, permitindo ao usuário escolher entre bibliotecas e frameworks existentes, os que melhor se adequem `as necessidades e competências do usuário. Construímos uma aplicação utilizando o middleware ARRay-Tracing para integrar dois frameworks de ray tracing, o Optix e o VKRay, a um framework de realidade aumentada, o artoolkitX, obtendo em tempo real reflexões e refrações mais realistas. Após a avaliação, concluímos que o ARRay-Tracing possibilita a integração modular sem acrescentar sobrecarga de processamento `a aplicação, atingindo a taxa de 30 quadros por segundo para a renderização de cenas de baixa complexidade.In recent years we saw the increase and popularization of augmented reality applications. However, in these systems, it is common to perceive a visual discrepancy between real and virtual elements, which leads to a lack of realism, that is one of the reasons that discourage the use of this type of application. Physically-based algorithms, like ray tracing, can generate renderings with a high degree of photorealism and are becoming popular after the recent development of hardware accelerators. Some works in literature combine these two technologies, augmented reality and ray tracing, but rigidly, without modularization, making the solutions dependent on specific frameworks. In this work, we propose a middleware to integrate augmented reality and real-time ray tracing by mapping the camera’s coordinates into the ray tracing framework, and performing an image composition process. Besides, the middleware works in a modularized way, allowing to choose between existing libraries and frameworks those that better fulfill the user’s needs and expertise. We build an application using the ARRay-Tracing middleware to integrate two ray tracing frameworks, the Optix and the VKRay, to an augmented reality framework, the artoolkitX, obtaining in real-time more realistic reflections and refractions. After the evaluation, we concluded that our middleware enables the modular integration without adding processing overhead to the application, achieving the frame rate of 30 fps for rendering less complex scenes.CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorengUniversidade Federal de Juiz de Fora (UFJF)Programa de Pós-graduação em Ciência da ComputaçãoUFJFBrasilICE – Instituto de Ciências ExatasAttribution-ShareAlike 3.0 Brazilhttp://creativecommons.org/licenses/by-sa/3.0/br/info:eu-repo/semantics/openAccessCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAORealidade aumentadaRay tracingFotorrealismoIluminação globalAugmented realityRay tracingPhotorealismGlobal illuminationARRay-Tracing: a middleware to integrate real-time ray tracing and augmented realityinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFJFinstname:Universidade Federal de Juiz de Fora (UFJF)instacron:UFJFORIGINALlidianeteixeirapereira.pdflidianeteixeirapereira.pdfPDF/Aapplication/pdf1563410https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/1/lidianeteixeirapereira.pdf01618914469ed3272fc0a79e1e73a124MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81031https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/2/license_rdf9b85e4235558a2887c2be3998124b615MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/3/license.txt8a4605be74aa9ea9d79846c1fba20a33MD53TEXTlidianeteixeirapereira.pdf.txtlidianeteixeirapereira.pdf.txtExtracted texttext/plain68766https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/4/lidianeteixeirapereira.pdf.txtce121e285322c72125d699598342751bMD54THUMBNAILlidianeteixeirapereira.pdf.jpglidianeteixeirapereira.pdf.jpgGenerated Thumbnailimage/jpeg1145https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/5/lidianeteixeirapereira.pdf.jpg7b6826d440705422e807565bd37c8346MD55ufjf/136912022-10-31 11:21:32.903oai:hermes.cpd.ufjf.br:ufjf/13691Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttps://repositorio.ufjf.br/oai/requestopendoar:2022-10-31T13:21:32Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)false
dc.title.pt_BR.fl_str_mv ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality
title ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality
spellingShingle ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality
Pereira, Lidiane Teixeira
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Realidade aumentada
Ray tracing
Fotorrealismo
Iluminação global
Augmented reality
Ray tracing
Photorealism
Global illumination
title_short ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality
title_full ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality
title_fullStr ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality
title_full_unstemmed ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality
title_sort ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality
author Pereira, Lidiane Teixeira
author_facet Pereira, Lidiane Teixeira
author_role author
dc.contributor.advisor1.fl_str_mv Souza, Jairo Francisco de
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/4516605108233899
dc.contributor.advisor-co1.fl_str_mv Silva, Rodrigo Luis de Souza da
dc.contributor.advisor-co1Lattes.fl_str_mv http://lattes.cnpq.br/6878718102770367
dc.contributor.referee1.fl_str_mv Vieira, Marcelo Bernardes
dc.contributor.referee1Lattes.fl_str_mv http://lattes.cnpq.br/0858482819476716
dc.contributor.referee2.fl_str_mv Apolinario Junior, Antonio Lopes
dc.contributor.referee2Lattes.fl_str_mv http://lattes.cnpq.br/2847901878340953
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/3925045505720467
dc.contributor.author.fl_str_mv Pereira, Lidiane Teixeira
contributor_str_mv Souza, Jairo Francisco de
Silva, Rodrigo Luis de Souza da
Vieira, Marcelo Bernardes
Apolinario Junior, Antonio Lopes
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Realidade aumentada
Ray tracing
Fotorrealismo
Iluminação global
Augmented reality
Ray tracing
Photorealism
Global illumination
dc.subject.por.fl_str_mv Realidade aumentada
Ray tracing
Fotorrealismo
Iluminação global
Augmented reality
Ray tracing
Photorealism
Global illumination
description Nos últimos anos percebemos o aumento e a popularização de aplicações de realidade aumentada. Entretanto, ´e comum que esses sistemas apresentem uma considerável discrepância visual entre elementos reais e virtuais, o que acarreta na falta de realismo, sendo esse um dos motivos que desencorajam o uso desse tipo de aplicação. Algoritmos baseados em física, como o ray tracing, geram renderizações com um alto grau de fotorrealismo e estão se popularizando após o recente desenvolvimento de aceleradores de hardware. Alguns trabalhos presentes na literatura combinam essas duas tecnologias, realidade aumentada e ray tracing, de forma rígida e sem modularização, tornando a solução dependente de frameworks específicos. Neste trabalho, propomos um middleware para integrar realidade aumentada e ray tracing em tempo real, através do mapeamento das coordenadas da câmera no framework de ray tracing e de um processo de composição de imagens. Além disso, o middleware funciona de forma modularizada, permitindo ao usuário escolher entre bibliotecas e frameworks existentes, os que melhor se adequem `as necessidades e competências do usuário. Construímos uma aplicação utilizando o middleware ARRay-Tracing para integrar dois frameworks de ray tracing, o Optix e o VKRay, a um framework de realidade aumentada, o artoolkitX, obtendo em tempo real reflexões e refrações mais realistas. Após a avaliação, concluímos que o ARRay-Tracing possibilita a integração modular sem acrescentar sobrecarga de processamento `a aplicação, atingindo a taxa de 30 quadros por segundo para a renderização de cenas de baixa complexidade.
publishDate 2021
dc.date.issued.fl_str_mv 2021-09-24
dc.date.accessioned.fl_str_mv 2022-01-24T14:45:00Z
dc.date.available.fl_str_mv 2022-01-03
2022-01-24T14:45:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufjf.br/jspui/handle/ufjf/13691
dc.identifier.doi.none.fl_str_mv https://doi.org/10.34019/ufjf/di/2021/00328
url https://doi.org/10.34019/ufjf/di/2021/00328
https://repositorio.ufjf.br/jspui/handle/ufjf/13691
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv Attribution-ShareAlike 3.0 Brazil
http://creativecommons.org/licenses/by-sa/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-ShareAlike 3.0 Brazil
http://creativecommons.org/licenses/by-sa/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Juiz de Fora (UFJF)
dc.publisher.program.fl_str_mv Programa de Pós-graduação em Ciência da Computação
dc.publisher.initials.fl_str_mv UFJF
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv ICE – Instituto de Ciências Exatas
publisher.none.fl_str_mv Universidade Federal de Juiz de Fora (UFJF)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFJF
instname:Universidade Federal de Juiz de Fora (UFJF)
instacron:UFJF
instname_str Universidade Federal de Juiz de Fora (UFJF)
instacron_str UFJF
institution UFJF
reponame_str Repositório Institucional da UFJF
collection Repositório Institucional da UFJF
bitstream.url.fl_str_mv https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/1/lidianeteixeirapereira.pdf
https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/2/license_rdf
https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/3/license.txt
https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/4/lidianeteixeirapereira.pdf.txt
https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/5/lidianeteixeirapereira.pdf.jpg
bitstream.checksum.fl_str_mv 01618914469ed3272fc0a79e1e73a124
9b85e4235558a2887c2be3998124b615
8a4605be74aa9ea9d79846c1fba20a33
ce121e285322c72125d699598342751b
7b6826d440705422e807565bd37c8346
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)
repository.mail.fl_str_mv
_version_ 1801661386697211904