ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Institucional da UFJF |
Texto Completo: | https://doi.org/10.34019/ufjf/di/2021/00328 https://repositorio.ufjf.br/jspui/handle/ufjf/13691 |
Resumo: | Nos últimos anos percebemos o aumento e a popularização de aplicações de realidade aumentada. Entretanto, ´e comum que esses sistemas apresentem uma considerável discrepância visual entre elementos reais e virtuais, o que acarreta na falta de realismo, sendo esse um dos motivos que desencorajam o uso desse tipo de aplicação. Algoritmos baseados em física, como o ray tracing, geram renderizações com um alto grau de fotorrealismo e estão se popularizando após o recente desenvolvimento de aceleradores de hardware. Alguns trabalhos presentes na literatura combinam essas duas tecnologias, realidade aumentada e ray tracing, de forma rígida e sem modularização, tornando a solução dependente de frameworks específicos. Neste trabalho, propomos um middleware para integrar realidade aumentada e ray tracing em tempo real, através do mapeamento das coordenadas da câmera no framework de ray tracing e de um processo de composição de imagens. Além disso, o middleware funciona de forma modularizada, permitindo ao usuário escolher entre bibliotecas e frameworks existentes, os que melhor se adequem `as necessidades e competências do usuário. Construímos uma aplicação utilizando o middleware ARRay-Tracing para integrar dois frameworks de ray tracing, o Optix e o VKRay, a um framework de realidade aumentada, o artoolkitX, obtendo em tempo real reflexões e refrações mais realistas. Após a avaliação, concluímos que o ARRay-Tracing possibilita a integração modular sem acrescentar sobrecarga de processamento `a aplicação, atingindo a taxa de 30 quadros por segundo para a renderização de cenas de baixa complexidade. |
id |
UFJF_f12e3612ed95f4721186ea4c1f313657 |
---|---|
oai_identifier_str |
oai:hermes.cpd.ufjf.br:ufjf/13691 |
network_acronym_str |
UFJF |
network_name_str |
Repositório Institucional da UFJF |
repository_id_str |
|
spelling |
Souza, Jairo Francisco dehttp://lattes.cnpq.br/4516605108233899Silva, Rodrigo Luis de Souza dahttp://lattes.cnpq.br/6878718102770367Vieira, Marcelo Bernardeshttp://lattes.cnpq.br/0858482819476716Apolinario Junior, Antonio Lopeshttp://lattes.cnpq.br/2847901878340953http://lattes.cnpq.br/3925045505720467Pereira, Lidiane Teixeira2022-01-24T14:45:00Z2022-01-032022-01-24T14:45:00Z2021-09-24https://doi.org/10.34019/ufjf/di/2021/00328https://repositorio.ufjf.br/jspui/handle/ufjf/13691Nos últimos anos percebemos o aumento e a popularização de aplicações de realidade aumentada. Entretanto, ´e comum que esses sistemas apresentem uma considerável discrepância visual entre elementos reais e virtuais, o que acarreta na falta de realismo, sendo esse um dos motivos que desencorajam o uso desse tipo de aplicação. Algoritmos baseados em física, como o ray tracing, geram renderizações com um alto grau de fotorrealismo e estão se popularizando após o recente desenvolvimento de aceleradores de hardware. Alguns trabalhos presentes na literatura combinam essas duas tecnologias, realidade aumentada e ray tracing, de forma rígida e sem modularização, tornando a solução dependente de frameworks específicos. Neste trabalho, propomos um middleware para integrar realidade aumentada e ray tracing em tempo real, através do mapeamento das coordenadas da câmera no framework de ray tracing e de um processo de composição de imagens. Além disso, o middleware funciona de forma modularizada, permitindo ao usuário escolher entre bibliotecas e frameworks existentes, os que melhor se adequem `as necessidades e competências do usuário. Construímos uma aplicação utilizando o middleware ARRay-Tracing para integrar dois frameworks de ray tracing, o Optix e o VKRay, a um framework de realidade aumentada, o artoolkitX, obtendo em tempo real reflexões e refrações mais realistas. Após a avaliação, concluímos que o ARRay-Tracing possibilita a integração modular sem acrescentar sobrecarga de processamento `a aplicação, atingindo a taxa de 30 quadros por segundo para a renderização de cenas de baixa complexidade.In recent years we saw the increase and popularization of augmented reality applications. However, in these systems, it is common to perceive a visual discrepancy between real and virtual elements, which leads to a lack of realism, that is one of the reasons that discourage the use of this type of application. Physically-based algorithms, like ray tracing, can generate renderings with a high degree of photorealism and are becoming popular after the recent development of hardware accelerators. Some works in literature combine these two technologies, augmented reality and ray tracing, but rigidly, without modularization, making the solutions dependent on specific frameworks. In this work, we propose a middleware to integrate augmented reality and real-time ray tracing by mapping the camera’s coordinates into the ray tracing framework, and performing an image composition process. Besides, the middleware works in a modularized way, allowing to choose between existing libraries and frameworks those that better fulfill the user’s needs and expertise. We build an application using the ARRay-Tracing middleware to integrate two ray tracing frameworks, the Optix and the VKRay, to an augmented reality framework, the artoolkitX, obtaining in real-time more realistic reflections and refractions. After the evaluation, we concluded that our middleware enables the modular integration without adding processing overhead to the application, achieving the frame rate of 30 fps for rendering less complex scenes.CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorengUniversidade Federal de Juiz de Fora (UFJF)Programa de Pós-graduação em Ciência da ComputaçãoUFJFBrasilICE – Instituto de Ciências ExatasAttribution-ShareAlike 3.0 Brazilhttp://creativecommons.org/licenses/by-sa/3.0/br/info:eu-repo/semantics/openAccessCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAORealidade aumentadaRay tracingFotorrealismoIluminação globalAugmented realityRay tracingPhotorealismGlobal illuminationARRay-Tracing: a middleware to integrate real-time ray tracing and augmented realityinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFJFinstname:Universidade Federal de Juiz de Fora (UFJF)instacron:UFJFORIGINALlidianeteixeirapereira.pdflidianeteixeirapereira.pdfPDF/Aapplication/pdf1563410https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/1/lidianeteixeirapereira.pdf01618914469ed3272fc0a79e1e73a124MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81031https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/2/license_rdf9b85e4235558a2887c2be3998124b615MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/3/license.txt8a4605be74aa9ea9d79846c1fba20a33MD53TEXTlidianeteixeirapereira.pdf.txtlidianeteixeirapereira.pdf.txtExtracted texttext/plain68766https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/4/lidianeteixeirapereira.pdf.txtce121e285322c72125d699598342751bMD54THUMBNAILlidianeteixeirapereira.pdf.jpglidianeteixeirapereira.pdf.jpgGenerated Thumbnailimage/jpeg1145https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/5/lidianeteixeirapereira.pdf.jpg7b6826d440705422e807565bd37c8346MD55ufjf/136912022-10-31 11:21:32.903oai:hermes.cpd.ufjf.br:ufjf/13691Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttps://repositorio.ufjf.br/oai/requestopendoar:2022-10-31T13:21:32Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)false |
dc.title.pt_BR.fl_str_mv |
ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality |
title |
ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality |
spellingShingle |
ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality Pereira, Lidiane Teixeira CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Realidade aumentada Ray tracing Fotorrealismo Iluminação global Augmented reality Ray tracing Photorealism Global illumination |
title_short |
ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality |
title_full |
ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality |
title_fullStr |
ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality |
title_full_unstemmed |
ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality |
title_sort |
ARRay-Tracing: a middleware to integrate real-time ray tracing and augmented reality |
author |
Pereira, Lidiane Teixeira |
author_facet |
Pereira, Lidiane Teixeira |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Souza, Jairo Francisco de |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/4516605108233899 |
dc.contributor.advisor-co1.fl_str_mv |
Silva, Rodrigo Luis de Souza da |
dc.contributor.advisor-co1Lattes.fl_str_mv |
http://lattes.cnpq.br/6878718102770367 |
dc.contributor.referee1.fl_str_mv |
Vieira, Marcelo Bernardes |
dc.contributor.referee1Lattes.fl_str_mv |
http://lattes.cnpq.br/0858482819476716 |
dc.contributor.referee2.fl_str_mv |
Apolinario Junior, Antonio Lopes |
dc.contributor.referee2Lattes.fl_str_mv |
http://lattes.cnpq.br/2847901878340953 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/3925045505720467 |
dc.contributor.author.fl_str_mv |
Pereira, Lidiane Teixeira |
contributor_str_mv |
Souza, Jairo Francisco de Silva, Rodrigo Luis de Souza da Vieira, Marcelo Bernardes Apolinario Junior, Antonio Lopes |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
topic |
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Realidade aumentada Ray tracing Fotorrealismo Iluminação global Augmented reality Ray tracing Photorealism Global illumination |
dc.subject.por.fl_str_mv |
Realidade aumentada Ray tracing Fotorrealismo Iluminação global Augmented reality Ray tracing Photorealism Global illumination |
description |
Nos últimos anos percebemos o aumento e a popularização de aplicações de realidade aumentada. Entretanto, ´e comum que esses sistemas apresentem uma considerável discrepância visual entre elementos reais e virtuais, o que acarreta na falta de realismo, sendo esse um dos motivos que desencorajam o uso desse tipo de aplicação. Algoritmos baseados em física, como o ray tracing, geram renderizações com um alto grau de fotorrealismo e estão se popularizando após o recente desenvolvimento de aceleradores de hardware. Alguns trabalhos presentes na literatura combinam essas duas tecnologias, realidade aumentada e ray tracing, de forma rígida e sem modularização, tornando a solução dependente de frameworks específicos. Neste trabalho, propomos um middleware para integrar realidade aumentada e ray tracing em tempo real, através do mapeamento das coordenadas da câmera no framework de ray tracing e de um processo de composição de imagens. Além disso, o middleware funciona de forma modularizada, permitindo ao usuário escolher entre bibliotecas e frameworks existentes, os que melhor se adequem `as necessidades e competências do usuário. Construímos uma aplicação utilizando o middleware ARRay-Tracing para integrar dois frameworks de ray tracing, o Optix e o VKRay, a um framework de realidade aumentada, o artoolkitX, obtendo em tempo real reflexões e refrações mais realistas. Após a avaliação, concluímos que o ARRay-Tracing possibilita a integração modular sem acrescentar sobrecarga de processamento `a aplicação, atingindo a taxa de 30 quadros por segundo para a renderização de cenas de baixa complexidade. |
publishDate |
2021 |
dc.date.issued.fl_str_mv |
2021-09-24 |
dc.date.accessioned.fl_str_mv |
2022-01-24T14:45:00Z |
dc.date.available.fl_str_mv |
2022-01-03 2022-01-24T14:45:00Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufjf.br/jspui/handle/ufjf/13691 |
dc.identifier.doi.none.fl_str_mv |
https://doi.org/10.34019/ufjf/di/2021/00328 |
url |
https://doi.org/10.34019/ufjf/di/2021/00328 https://repositorio.ufjf.br/jspui/handle/ufjf/13691 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
Attribution-ShareAlike 3.0 Brazil http://creativecommons.org/licenses/by-sa/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Attribution-ShareAlike 3.0 Brazil http://creativecommons.org/licenses/by-sa/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Juiz de Fora (UFJF) |
dc.publisher.program.fl_str_mv |
Programa de Pós-graduação em Ciência da Computação |
dc.publisher.initials.fl_str_mv |
UFJF |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
ICE – Instituto de Ciências Exatas |
publisher.none.fl_str_mv |
Universidade Federal de Juiz de Fora (UFJF) |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFJF instname:Universidade Federal de Juiz de Fora (UFJF) instacron:UFJF |
instname_str |
Universidade Federal de Juiz de Fora (UFJF) |
instacron_str |
UFJF |
institution |
UFJF |
reponame_str |
Repositório Institucional da UFJF |
collection |
Repositório Institucional da UFJF |
bitstream.url.fl_str_mv |
https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/1/lidianeteixeirapereira.pdf https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/2/license_rdf https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/3/license.txt https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/4/lidianeteixeirapereira.pdf.txt https://repositorio.ufjf.br/jspui/bitstream/ufjf/13691/5/lidianeteixeirapereira.pdf.jpg |
bitstream.checksum.fl_str_mv |
01618914469ed3272fc0a79e1e73a124 9b85e4235558a2887c2be3998124b615 8a4605be74aa9ea9d79846c1fba20a33 ce121e285322c72125d699598342751b 7b6826d440705422e807565bd37c8346 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF) |
repository.mail.fl_str_mv |
|
_version_ |
1801661386697211904 |