Joint-task learning to improve super-resolution of aerial images
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da UFRGS |
Texto Completo: | http://hdl.handle.net/10183/249507 |
Resumo: | Redes de aprendizado profundo tornaram-se uma abordagem muito popular para resolver vários problemas de visão computacional. Entre eles, a super resolução (SR) é uma tarefa particularmente desafiadora, devido à sua natureza mal-posta, uma vez que uma imagem super resolvida pode ser originada de várias imagens de baixa resolução (LR), e a difi culdade em sintetizar informações coerentes em maior resolução, possivelmente levando a artefatos visuais ou texturas inconsistentes. Isso é facilmente verificado no contexto de sensoriamento remoto, onde as técnicas de restauração de imagens enfrentam dificul dades na replicação de superfícies terrestres do mundo real, tendo no entanto um grande potencial para gerar dados de alta resolução (HR) a partir de imagens LR. Embora existam vários métodos SR na literatura, poucos deles focam na qualidade perceptual das imagens SR, falhando em recuperar informações detalhadas inerentes às imagens aéreas. Uma das principais razões para isso é a dificuldade em definir uma imagem "boa"na perspectiva da máquina, fato não alcançável para métricas comuns de pixel como PSNR e SSIM. Neste contexto, este trabalho propõe um procedimento de treinamento conjunto de ponta a ponta para gerar imagens SR perceptualmente melhores: usando um módulo SR base ado em Redes Generativas Adversariais (GAN) e um módulo de segmentação semântica, é possível induzir o gerador a produzir estruturas e informações texturais mais coerentes usando uma função objetiva de segmentação capaz de capturar detalhes de textura em dados sintetizados, fato corroborado por resultados experimentais. |
id |
URGS_ce3bcd03d8c2c0c9a6f2783e71861711 |
---|---|
oai_identifier_str |
oai:www.lume.ufrgs.br:10183/249507 |
network_acronym_str |
URGS |
network_name_str |
Biblioteca Digital de Teses e Dissertações da UFRGS |
repository_id_str |
1853 |
spelling |
Albuquerque Filho, José ElitonJung, Claudio Rosito2022-09-30T04:58:40Z2022http://hdl.handle.net/10183/249507001150492Redes de aprendizado profundo tornaram-se uma abordagem muito popular para resolver vários problemas de visão computacional. Entre eles, a super resolução (SR) é uma tarefa particularmente desafiadora, devido à sua natureza mal-posta, uma vez que uma imagem super resolvida pode ser originada de várias imagens de baixa resolução (LR), e a difi culdade em sintetizar informações coerentes em maior resolução, possivelmente levando a artefatos visuais ou texturas inconsistentes. Isso é facilmente verificado no contexto de sensoriamento remoto, onde as técnicas de restauração de imagens enfrentam dificul dades na replicação de superfícies terrestres do mundo real, tendo no entanto um grande potencial para gerar dados de alta resolução (HR) a partir de imagens LR. Embora existam vários métodos SR na literatura, poucos deles focam na qualidade perceptual das imagens SR, falhando em recuperar informações detalhadas inerentes às imagens aéreas. Uma das principais razões para isso é a dificuldade em definir uma imagem "boa"na perspectiva da máquina, fato não alcançável para métricas comuns de pixel como PSNR e SSIM. Neste contexto, este trabalho propõe um procedimento de treinamento conjunto de ponta a ponta para gerar imagens SR perceptualmente melhores: usando um módulo SR base ado em Redes Generativas Adversariais (GAN) e um módulo de segmentação semântica, é possível induzir o gerador a produzir estruturas e informações texturais mais coerentes usando uma função objetiva de segmentação capaz de capturar detalhes de textura em dados sintetizados, fato corroborado por resultados experimentais.Deep learning networks have become a very popular approach for solving multiple com puter vision problems. Amongst them, super resolution (SR) is a particularly challenging task because of its ill-posed nature, since one super resolved image could be originated from multiple low resolution (LR) counterparts, and the difficulty in synthesizing coher ent information at increased resolution, possibly leading to visual artifacts or inconsistent textures. This is readily verified in the context of remote sensing, where image restora tion techniques face difficulties in replicating real-world land surfaces, having though a great potential for generating high-resolution (HR) data from LR images. While there are multiple SR methods in the literature, few of them focus on the perceptual quality of SR images, failing to recover detailed information inherent in aerial imagery. One of the main reasons for that is the difficulty in defining a “good-looking” image in the per spective of the machine, a fact not achievable for common pixel-wise metrics like PSNR and SSIM. In this context, this work proposes an end-to-end joint training procedure to generate better perpetually-wise SR images: by using a SR module based on Generative Adversarial Network (GAN) and a semantic segmentation module, it is possible to in duce the generator network to produce more coherent structures and textural information by using a segmentation loss capable of capturing texture details on synthesized data, a fact corroborated by experimental results.application/pdfengAprendizado profundo distribuídoRedesImagemDeep learningSuper resolutionSemantic segmentationJoint tasksAerial imageryPerceptual qualityJoint-task learning to improve super-resolution of aerial imagesAprendizagem de tarefas conjuntas para melhorar a super-resolução de imagens aéreas info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2022mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001150492.pdf.txt001150492.pdf.txtExtracted Texttext/plain152039http://www.lume.ufrgs.br/bitstream/10183/249507/2/001150492.pdf.txt138a848bbdbe23bf9f35d32ce70e05b4MD52ORIGINAL001150492.pdfTexto completo (inglês)application/pdf9507457http://www.lume.ufrgs.br/bitstream/10183/249507/1/001150492.pdfcade2e34c2c5ba38b4332de090a03441MD5110183/2495072022-10-13 04:49:17.559881oai:www.lume.ufrgs.br:10183/249507Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532022-10-13T07:49:17Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false |
dc.title.pt_BR.fl_str_mv |
Joint-task learning to improve super-resolution of aerial images |
dc.title.alternative.pt.fl_str_mv |
Aprendizagem de tarefas conjuntas para melhorar a super-resolução de imagens aéreas |
title |
Joint-task learning to improve super-resolution of aerial images |
spellingShingle |
Joint-task learning to improve super-resolution of aerial images Albuquerque Filho, José Eliton Aprendizado profundo distribuído Redes Imagem Deep learning Super resolution Semantic segmentation Joint tasks Aerial imagery Perceptual quality |
title_short |
Joint-task learning to improve super-resolution of aerial images |
title_full |
Joint-task learning to improve super-resolution of aerial images |
title_fullStr |
Joint-task learning to improve super-resolution of aerial images |
title_full_unstemmed |
Joint-task learning to improve super-resolution of aerial images |
title_sort |
Joint-task learning to improve super-resolution of aerial images |
author |
Albuquerque Filho, José Eliton |
author_facet |
Albuquerque Filho, José Eliton |
author_role |
author |
dc.contributor.author.fl_str_mv |
Albuquerque Filho, José Eliton |
dc.contributor.advisor1.fl_str_mv |
Jung, Claudio Rosito |
contributor_str_mv |
Jung, Claudio Rosito |
dc.subject.por.fl_str_mv |
Aprendizado profundo distribuído Redes Imagem |
topic |
Aprendizado profundo distribuído Redes Imagem Deep learning Super resolution Semantic segmentation Joint tasks Aerial imagery Perceptual quality |
dc.subject.eng.fl_str_mv |
Deep learning Super resolution Semantic segmentation Joint tasks Aerial imagery Perceptual quality |
description |
Redes de aprendizado profundo tornaram-se uma abordagem muito popular para resolver vários problemas de visão computacional. Entre eles, a super resolução (SR) é uma tarefa particularmente desafiadora, devido à sua natureza mal-posta, uma vez que uma imagem super resolvida pode ser originada de várias imagens de baixa resolução (LR), e a difi culdade em sintetizar informações coerentes em maior resolução, possivelmente levando a artefatos visuais ou texturas inconsistentes. Isso é facilmente verificado no contexto de sensoriamento remoto, onde as técnicas de restauração de imagens enfrentam dificul dades na replicação de superfícies terrestres do mundo real, tendo no entanto um grande potencial para gerar dados de alta resolução (HR) a partir de imagens LR. Embora existam vários métodos SR na literatura, poucos deles focam na qualidade perceptual das imagens SR, falhando em recuperar informações detalhadas inerentes às imagens aéreas. Uma das principais razões para isso é a dificuldade em definir uma imagem "boa"na perspectiva da máquina, fato não alcançável para métricas comuns de pixel como PSNR e SSIM. Neste contexto, este trabalho propõe um procedimento de treinamento conjunto de ponta a ponta para gerar imagens SR perceptualmente melhores: usando um módulo SR base ado em Redes Generativas Adversariais (GAN) e um módulo de segmentação semântica, é possível induzir o gerador a produzir estruturas e informações texturais mais coerentes usando uma função objetiva de segmentação capaz de capturar detalhes de textura em dados sintetizados, fato corroborado por resultados experimentais. |
publishDate |
2022 |
dc.date.accessioned.fl_str_mv |
2022-09-30T04:58:40Z |
dc.date.issued.fl_str_mv |
2022 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10183/249507 |
dc.identifier.nrb.pt_BR.fl_str_mv |
001150492 |
url |
http://hdl.handle.net/10183/249507 |
identifier_str_mv |
001150492 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFRGS instname:Universidade Federal do Rio Grande do Sul (UFRGS) instacron:UFRGS |
instname_str |
Universidade Federal do Rio Grande do Sul (UFRGS) |
instacron_str |
UFRGS |
institution |
UFRGS |
reponame_str |
Biblioteca Digital de Teses e Dissertações da UFRGS |
collection |
Biblioteca Digital de Teses e Dissertações da UFRGS |
bitstream.url.fl_str_mv |
http://www.lume.ufrgs.br/bitstream/10183/249507/2/001150492.pdf.txt http://www.lume.ufrgs.br/bitstream/10183/249507/1/001150492.pdf |
bitstream.checksum.fl_str_mv |
138a848bbdbe23bf9f35d32ce70e05b4 cade2e34c2c5ba38b4332de090a03441 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS) |
repository.mail.fl_str_mv |
lume@ufrgs.br||lume@ufrgs.br |
_version_ |
1810085597739483136 |