REDES DE GRAFOS SEMÂNTICOS COM ATENÇÃO E DECOMPOSIÇÃO DE TENSORES PARA VISÃO COMPUTACIONAL E COMPUTAÇÃO GRÁFICA
Autor(a) principal: | |
---|---|
Data de Publicação: | 2021 |
Tipo de documento: | Tese |
Idioma: | eng |
Título da fonte: | Repositório Institucional da PUC-RIO (Projeto Maxwell) |
Texto Completo: | https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=53529@1 https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=53529@2 |
Resumo: | Nesta tese, propomos novas arquiteturas para redes neurais profundas utlizando métodos de atenção e álgebra multilinear para aumentar seu desempenho. Também exploramos convoluções em grafos e suas particularidades. Nos concentramos aqui em problemas relacionados à estimativa de pose em tempo real. A estimativa de pose é um problema desafiador em visão computacional com muitas aplicações reais em áreas como realidade aumentada, realidade virtual, animação por computador e reconstrução de cenas 3D. Normalmente, o problema a ser abordado envolve estimar a pose humana 2D ou 3D, ou seja, as partes do corpo de pessoas em imagens ou vídeos, bem como seu posicionamento e estrutura. Diveros trabalhos buscam atingir alta precisão usando arquiteturas baseadas em redes neurais de convolução convencionais; no entanto, erros causados por oclusão e motion blur não são incomuns, e ainda esses modelos são computacionalmente pesados para aplicações em tempo real. Exploramos diferentes arquiteturas para melhorar o tempo de processamento destas redes e, como resultado, propomos dois novos modelos de rede neural para estimativa de pose 2D e 3D. Também apresentamos uma nova arquitetura para redes de atenção em grafos chamada de atenção em grafos semânticos. |
id |
PUC_RIO-1_c8a07ccfb3cffe6eb7f4aebb52f0d57b |
---|---|
oai_identifier_str |
oai:MAXWELL.puc-rio.br:53529 |
network_acronym_str |
PUC_RIO-1 |
network_name_str |
Repositório Institucional da PUC-RIO (Projeto Maxwell) |
repository_id_str |
534 |
spelling |
info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisREDES DE GRAFOS SEMÂNTICOS COM ATENÇÃO E DECOMPOSIÇÃO DE TENSORES PARA VISÃO COMPUTACIONAL E COMPUTAÇÃO GRÁFICA SEMANTIC GRAPH ATTENTION NETWORKS AND TENSOR DECOMPOSITIONS FOR COMPUTER VISION AND COMPUTER GRAPHICS 2021-02-08HELIO CORTES VIEIRA LOPES01080382704lattes.cnpq.br/9199970180870105LUIZ CARLOS PACHECO RODRIGUES VELHO33017654753lattes.cnpq.br/9500245604678806HELIO CORTES VIEIRA LOPESMARCUS VINICIUS SOLEDADE POGGI DE ARAGAOALBERTO BARBOSA RAPOSOLUIZ CARLOS PACHECO RODRIGUES VELHOLEANDRO MORAES VALLE CRUZ02215163011LUIZ JOSE SCHIRMER SILVAPONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIROPPG EM INFORMÁTICAPUC-RioBRNesta tese, propomos novas arquiteturas para redes neurais profundas utlizando métodos de atenção e álgebra multilinear para aumentar seu desempenho. Também exploramos convoluções em grafos e suas particularidades. Nos concentramos aqui em problemas relacionados à estimativa de pose em tempo real. A estimativa de pose é um problema desafiador em visão computacional com muitas aplicações reais em áreas como realidade aumentada, realidade virtual, animação por computador e reconstrução de cenas 3D. Normalmente, o problema a ser abordado envolve estimar a pose humana 2D ou 3D, ou seja, as partes do corpo de pessoas em imagens ou vídeos, bem como seu posicionamento e estrutura. Diveros trabalhos buscam atingir alta precisão usando arquiteturas baseadas em redes neurais de convolução convencionais; no entanto, erros causados por oclusão e motion blur não são incomuns, e ainda esses modelos são computacionalmente pesados para aplicações em tempo real. Exploramos diferentes arquiteturas para melhorar o tempo de processamento destas redes e, como resultado, propomos dois novos modelos de rede neural para estimativa de pose 2D e 3D. Também apresentamos uma nova arquitetura para redes de atenção em grafos chamada de atenção em grafos semânticos.This thesis proposes new architectures for deep neural networks with attention enhancement and multilinear algebra methods to increase their performance. We also explore graph convolutions and their particularities. We focus here on the problems related to real-time pose estimation. Pose estimation is a challenging problem in computer vision with many real applications in areas including augmented reality, virtual reality, computer animation, and 3D scene reconstruction. Usually, the problem to be addressed involves estimating the 2D and 3D human pose, i.e., the anatomical keypoints or body parts of persons in images or videos. Several papers propose approaches to achieve high accuracy using architectures based on conventional convolution neural networks; however, mistakes caused by occlusion and motion blur are not uncommon, and those models are computationally very intensive for real-time applications. We explore different architectures to improve processing time, and, as a result, we propose two novel neural network models for 2D and 3D pose estimation. We also introduce a new architecture for Graph attention networks called Semantic Graph Attention.PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIROCOORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIORCONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICOPROGRAMA DE EXCELENCIA ACADEMICAhttps://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=53529@1https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=53529@2engreponame:Repositório Institucional da PUC-RIO (Projeto Maxwell)instname:Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)instacron:PUC_RIOinfo:eu-repo/semantics/openAccess2022-11-01T14:00:33Zoai:MAXWELL.puc-rio.br:53529Repositório InstitucionalPRIhttps://www.maxwell.vrac.puc-rio.br/ibict.phpopendoar:5342022-08-17T00:00Repositório Institucional da PUC-RIO (Projeto Maxwell) - Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO)false |
dc.title.pt.fl_str_mv |
REDES DE GRAFOS SEMÂNTICOS COM ATENÇÃO E DECOMPOSIÇÃO DE TENSORES PARA VISÃO COMPUTACIONAL E COMPUTAÇÃO GRÁFICA |
dc.title.alternative.en.fl_str_mv |
SEMANTIC GRAPH ATTENTION NETWORKS AND TENSOR DECOMPOSITIONS FOR COMPUTER VISION AND COMPUTER GRAPHICS |
title |
REDES DE GRAFOS SEMÂNTICOS COM ATENÇÃO E DECOMPOSIÇÃO DE TENSORES PARA VISÃO COMPUTACIONAL E COMPUTAÇÃO GRÁFICA |
spellingShingle |
REDES DE GRAFOS SEMÂNTICOS COM ATENÇÃO E DECOMPOSIÇÃO DE TENSORES PARA VISÃO COMPUTACIONAL E COMPUTAÇÃO GRÁFICA LUIZ JOSE SCHIRMER SILVA |
title_short |
REDES DE GRAFOS SEMÂNTICOS COM ATENÇÃO E DECOMPOSIÇÃO DE TENSORES PARA VISÃO COMPUTACIONAL E COMPUTAÇÃO GRÁFICA |
title_full |
REDES DE GRAFOS SEMÂNTICOS COM ATENÇÃO E DECOMPOSIÇÃO DE TENSORES PARA VISÃO COMPUTACIONAL E COMPUTAÇÃO GRÁFICA |
title_fullStr |
REDES DE GRAFOS SEMÂNTICOS COM ATENÇÃO E DECOMPOSIÇÃO DE TENSORES PARA VISÃO COMPUTACIONAL E COMPUTAÇÃO GRÁFICA |
title_full_unstemmed |
REDES DE GRAFOS SEMÂNTICOS COM ATENÇÃO E DECOMPOSIÇÃO DE TENSORES PARA VISÃO COMPUTACIONAL E COMPUTAÇÃO GRÁFICA |
title_sort |
REDES DE GRAFOS SEMÂNTICOS COM ATENÇÃO E DECOMPOSIÇÃO DE TENSORES PARA VISÃO COMPUTACIONAL E COMPUTAÇÃO GRÁFICA |
dc.creator.Lattes.none.fl_str_mv |
|
author |
LUIZ JOSE SCHIRMER SILVA |
author_facet |
LUIZ JOSE SCHIRMER SILVA |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
HELIO CORTES VIEIRA LOPES |
dc.contributor.advisor1ID.fl_str_mv |
01080382704 |
dc.contributor.advisor1Lattes.fl_str_mv |
lattes.cnpq.br/9199970180870105 |
dc.contributor.advisor-co1.fl_str_mv |
LUIZ CARLOS PACHECO RODRIGUES VELHO |
dc.contributor.advisor-co1ID.fl_str_mv |
33017654753 |
dc.contributor.advisor-co1Lattes.fl_str_mv |
lattes.cnpq.br/9500245604678806 |
dc.contributor.referee1.fl_str_mv |
HELIO CORTES VIEIRA LOPES |
dc.contributor.referee2.fl_str_mv |
MARCUS VINICIUS SOLEDADE POGGI DE ARAGAO |
dc.contributor.referee3.fl_str_mv |
ALBERTO BARBOSA RAPOSO |
dc.contributor.referee4.fl_str_mv |
LUIZ CARLOS PACHECO RODRIGUES VELHO |
dc.contributor.referee5.fl_str_mv |
LEANDRO MORAES VALLE CRUZ |
dc.contributor.authorID.fl_str_mv |
02215163011 |
dc.contributor.author.fl_str_mv |
LUIZ JOSE SCHIRMER SILVA |
contributor_str_mv |
HELIO CORTES VIEIRA LOPES LUIZ CARLOS PACHECO RODRIGUES VELHO HELIO CORTES VIEIRA LOPES MARCUS VINICIUS SOLEDADE POGGI DE ARAGAO ALBERTO BARBOSA RAPOSO LUIZ CARLOS PACHECO RODRIGUES VELHO LEANDRO MORAES VALLE CRUZ |
description |
Nesta tese, propomos novas arquiteturas para redes neurais profundas utlizando métodos de atenção e álgebra multilinear para aumentar seu desempenho. Também exploramos convoluções em grafos e suas particularidades. Nos concentramos aqui em problemas relacionados à estimativa de pose em tempo real. A estimativa de pose é um problema desafiador em visão computacional com muitas aplicações reais em áreas como realidade aumentada, realidade virtual, animação por computador e reconstrução de cenas 3D. Normalmente, o problema a ser abordado envolve estimar a pose humana 2D ou 3D, ou seja, as partes do corpo de pessoas em imagens ou vídeos, bem como seu posicionamento e estrutura. Diveros trabalhos buscam atingir alta precisão usando arquiteturas baseadas em redes neurais de convolução convencionais; no entanto, erros causados por oclusão e motion blur não são incomuns, e ainda esses modelos são computacionalmente pesados para aplicações em tempo real. Exploramos diferentes arquiteturas para melhorar o tempo de processamento destas redes e, como resultado, propomos dois novos modelos de rede neural para estimativa de pose 2D e 3D. Também apresentamos uma nova arquitetura para redes de atenção em grafos chamada de atenção em grafos semânticos. |
publishDate |
2021 |
dc.date.issued.fl_str_mv |
2021-02-08 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=53529@1 https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=53529@2 |
url |
https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=53529@1 https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=53529@2 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO |
dc.publisher.program.fl_str_mv |
PPG EM INFORMÁTICA |
dc.publisher.initials.fl_str_mv |
PUC-Rio |
dc.publisher.country.fl_str_mv |
BR |
publisher.none.fl_str_mv |
PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da PUC-RIO (Projeto Maxwell) instname:Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO) instacron:PUC_RIO |
instname_str |
Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO) |
instacron_str |
PUC_RIO |
institution |
PUC_RIO |
reponame_str |
Repositório Institucional da PUC-RIO (Projeto Maxwell) |
collection |
Repositório Institucional da PUC-RIO (Projeto Maxwell) |
repository.name.fl_str_mv |
Repositório Institucional da PUC-RIO (Projeto Maxwell) - Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO) |
repository.mail.fl_str_mv |
|
_version_ |
1748324957540057088 |