Emprego de modelos generativos para envelhecimento facial

Detalhes bibliográficos
Autor(a) principal: Kemmer, Bruno Abreu
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/100/100131/tde-15092023-125055/
Resumo: Diversos fatores podem causar o envelhecimento facial: exposição solar, tabagismo, viver em um ambiente poluído, estresse e fatores genéticos. Esses elementos tornam a tarefa de envelhecimento facial por meio de algoritmos bastante complexa, e ao fazê-la, três atributos são desejados na face envelhecida, a saber, i) essa deve ter a idade esperada; ii) deve manter as características individuais; iii) a face sintética deve, preferencialmente, ter alta qualidade. Dois tipos de métodos são tradicionalmente utilizados nessa tarefa: métodos baseados em protótipos e métodos baseados em modelagem. Os primeiros calculam a diferença entre as médias de faixas de idades e os últimos utilizam modelos paramétricos para simular a passagem do tempo. Ambos falham em manter as características individuais ao levar a imagem de um domínio mais jovem para um envelhecido. Com os avanços em visão computacional, modelos generativos têm sido utilizados nessa tarefa, em especial, Redes Adversárias Generativas (GANs) e recentemente, modelos de difusão. Com essas abordagens é possível gerar imagens realistas de indivíduos envelhecidos. Essas redes podem codificar informações latentes possibilitando que o modelo gerador crie novas imagens condicionais a uma face dada como entrada. Isso pode levar a uma melhora no desempenho dos sistemas biométricos, auxiliar na busca de pessoas desaparecidas, na identificação de pessoas procuradas de forma automatizada e diversas outras aplicações no entretenimento. %Na última década, um número crescente de publicações teve como foco a aplicação de modelos generativos no estado da arte no envelhecimento facial. Na última década, houve um número crescente de publicações com foco na aplicação de modelos generativos para envelhecimento facial. A maioria dessas adaptaram uma arquitetura geral para atender aos desafios da tarefa adotada. Este trabalho descreve detalhadamente as arquiteturas mais importantes encontradas na literatura, as principais bases de dados e suas aplicações. Além disso, apresenta dois grupos de experimentos realizados: o primeiro compara os resultados de três modelos publicados entre 2017 e 2018 que utilizaram redes GANs, em três bases de dados: FG-NET, UTKFaces e CACD. O segundo grupo realiza um estudo comparativo entre dois modelos baseados em redes GANs, que foram publicados entre 2020 e 2021, com dois modelos de difusão condicionais que executam edição das imagens, os quais foram publicados entre 2022 e 2023 e empregaram base de imagens de alta resolução FFHQ-Aging (base de imagens FFHQ com a idade estimada das faces). Por fim, para medir a efetividade do envelhecimento facial nas imagens, modelos estimadores de idade e de verificação facial foram utilizados. Os resultados mostraram que GANs treinadas especialmente para essa tarefa têm obtido resultados superiores, porém, modelos de difusão condicionais genéricos, como os utilizados nesse último grupo de experimentos obtiveram resultados consideráveis, mesmo sem terem sido treinados para essa tarefa. Além do mais, muitos trabalhos recentes têm apresentado melhoria nos modelos de difusão, portanto, são esperados rápidos avanços em suas arquiteturas.
id USP_bd9e232b7e707d0e980555be57d48009
oai_identifier_str oai:teses.usp.br:tde-15092023-125055
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Emprego de modelos generativos para envelhecimento facialFace aging using generative modelsAutoencodersDiffusion modelsEnvelhecimento facialFace agingFace progressionGANsGANsGenerative Adversarial NetworksGenerative modelsModelos de difusãoModelos generativosProgressão facialRedes generativas adversáriasDiversos fatores podem causar o envelhecimento facial: exposição solar, tabagismo, viver em um ambiente poluído, estresse e fatores genéticos. Esses elementos tornam a tarefa de envelhecimento facial por meio de algoritmos bastante complexa, e ao fazê-la, três atributos são desejados na face envelhecida, a saber, i) essa deve ter a idade esperada; ii) deve manter as características individuais; iii) a face sintética deve, preferencialmente, ter alta qualidade. Dois tipos de métodos são tradicionalmente utilizados nessa tarefa: métodos baseados em protótipos e métodos baseados em modelagem. Os primeiros calculam a diferença entre as médias de faixas de idades e os últimos utilizam modelos paramétricos para simular a passagem do tempo. Ambos falham em manter as características individuais ao levar a imagem de um domínio mais jovem para um envelhecido. Com os avanços em visão computacional, modelos generativos têm sido utilizados nessa tarefa, em especial, Redes Adversárias Generativas (GANs) e recentemente, modelos de difusão. Com essas abordagens é possível gerar imagens realistas de indivíduos envelhecidos. Essas redes podem codificar informações latentes possibilitando que o modelo gerador crie novas imagens condicionais a uma face dada como entrada. Isso pode levar a uma melhora no desempenho dos sistemas biométricos, auxiliar na busca de pessoas desaparecidas, na identificação de pessoas procuradas de forma automatizada e diversas outras aplicações no entretenimento. %Na última década, um número crescente de publicações teve como foco a aplicação de modelos generativos no estado da arte no envelhecimento facial. Na última década, houve um número crescente de publicações com foco na aplicação de modelos generativos para envelhecimento facial. A maioria dessas adaptaram uma arquitetura geral para atender aos desafios da tarefa adotada. Este trabalho descreve detalhadamente as arquiteturas mais importantes encontradas na literatura, as principais bases de dados e suas aplicações. Além disso, apresenta dois grupos de experimentos realizados: o primeiro compara os resultados de três modelos publicados entre 2017 e 2018 que utilizaram redes GANs, em três bases de dados: FG-NET, UTKFaces e CACD. O segundo grupo realiza um estudo comparativo entre dois modelos baseados em redes GANs, que foram publicados entre 2020 e 2021, com dois modelos de difusão condicionais que executam edição das imagens, os quais foram publicados entre 2022 e 2023 e empregaram base de imagens de alta resolução FFHQ-Aging (base de imagens FFHQ com a idade estimada das faces). Por fim, para medir a efetividade do envelhecimento facial nas imagens, modelos estimadores de idade e de verificação facial foram utilizados. Os resultados mostraram que GANs treinadas especialmente para essa tarefa têm obtido resultados superiores, porém, modelos de difusão condicionais genéricos, como os utilizados nesse último grupo de experimentos obtiveram resultados consideráveis, mesmo sem terem sido treinados para essa tarefa. Além do mais, muitos trabalhos recentes têm apresentado melhoria nos modelos de difusão, portanto, são esperados rápidos avanços em suas arquiteturas.Several factors can cause facial aging: sun exposure, smoking, living in a polluted environment, stress, and genetic factors. These elements make the task of facial aging through algorithms complex, and when doing it, three attributes are desired, the aged face has the expected age; the maintenance of individual characteristics, and realistic synthetic images. Traditionally, two kinds of modeling techniques were used in this task: prototype methods and modeling methods. The first calculates the mean difference between age groups, and the latter uses parametric models to simulate the change over time. However, both approaches fail to keep the individual characteristics when transforming a face from a younger domain to an aged one. With advances in computer vision, generative models have been applied to perform this task, especially generative adversarial networks (GANs) and, recently, diffusion models. With them, it becomes possible to generate realistic aged faces of individuals. These networks can encode latent information enabling a generator model to create new images conditional on an input image. This could lead to improvements in biometric systems. Doing so could help to search for missing persons and identify criminals in an automated way, in addition to multiple applications in entertainment. In the last decade, an increasing number of publications focused on applying state-of-the-art generative models on facial aging. Most of these works were done by customizing a general architecture to fit the aging problem\'s needs. This work details the most frequent architectures found in literature, the main available benchmark databases, and their applications. Additionally, two groups of experiments were tested: the first comparing the results of three models published between 2017 and 2018 that use GANs networks in three frequently used databases: FG-NET, UTKFaces, and CACD. The second group presents a comparative study between two models based on GANs networks which were published between 2020 and 2021 with two conditional diffusion models that perform image editing. These were published between 2022 and 2023 and use the high-resolution image base FFHQ- Aging (the image base FFHQ with the estimated age of the photos). Finally, to measure the effectiveness of facial aging in photos, age estimation, and facial verification models are used. The results showed that GANs specially trained for this task have obtained superior results, however, generic conditional diffusion models, such as those used in the last group of experiments, got considerable results, even without having been trained for this task. Furthermore, many recent works have shown improvement in diffusion models\' components. Therefore, rapid advances in their architectures are expected.Biblioteca Digitais de Teses e Dissertações da USPLima, Clodoaldo Aparecido de MoraesKemmer, Bruno Abreu2023-06-07info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/100/100131/tde-15092023-125055/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-07-24T13:01:02Zoai:teses.usp.br:tde-15092023-125055Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-07-24T13:01:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Emprego de modelos generativos para envelhecimento facial
Face aging using generative models
title Emprego de modelos generativos para envelhecimento facial
spellingShingle Emprego de modelos generativos para envelhecimento facial
Kemmer, Bruno Abreu
Autoencoders
Diffusion models
Envelhecimento facial
Face aging
Face progression
GANs
GANs
Generative Adversarial Networks
Generative models
Modelos de difusão
Modelos generativos
Progressão facial
Redes generativas adversárias
title_short Emprego de modelos generativos para envelhecimento facial
title_full Emprego de modelos generativos para envelhecimento facial
title_fullStr Emprego de modelos generativos para envelhecimento facial
title_full_unstemmed Emprego de modelos generativos para envelhecimento facial
title_sort Emprego de modelos generativos para envelhecimento facial
author Kemmer, Bruno Abreu
author_facet Kemmer, Bruno Abreu
author_role author
dc.contributor.none.fl_str_mv Lima, Clodoaldo Aparecido de Moraes
dc.contributor.author.fl_str_mv Kemmer, Bruno Abreu
dc.subject.por.fl_str_mv Autoencoders
Diffusion models
Envelhecimento facial
Face aging
Face progression
GANs
GANs
Generative Adversarial Networks
Generative models
Modelos de difusão
Modelos generativos
Progressão facial
Redes generativas adversárias
topic Autoencoders
Diffusion models
Envelhecimento facial
Face aging
Face progression
GANs
GANs
Generative Adversarial Networks
Generative models
Modelos de difusão
Modelos generativos
Progressão facial
Redes generativas adversárias
description Diversos fatores podem causar o envelhecimento facial: exposição solar, tabagismo, viver em um ambiente poluído, estresse e fatores genéticos. Esses elementos tornam a tarefa de envelhecimento facial por meio de algoritmos bastante complexa, e ao fazê-la, três atributos são desejados na face envelhecida, a saber, i) essa deve ter a idade esperada; ii) deve manter as características individuais; iii) a face sintética deve, preferencialmente, ter alta qualidade. Dois tipos de métodos são tradicionalmente utilizados nessa tarefa: métodos baseados em protótipos e métodos baseados em modelagem. Os primeiros calculam a diferença entre as médias de faixas de idades e os últimos utilizam modelos paramétricos para simular a passagem do tempo. Ambos falham em manter as características individuais ao levar a imagem de um domínio mais jovem para um envelhecido. Com os avanços em visão computacional, modelos generativos têm sido utilizados nessa tarefa, em especial, Redes Adversárias Generativas (GANs) e recentemente, modelos de difusão. Com essas abordagens é possível gerar imagens realistas de indivíduos envelhecidos. Essas redes podem codificar informações latentes possibilitando que o modelo gerador crie novas imagens condicionais a uma face dada como entrada. Isso pode levar a uma melhora no desempenho dos sistemas biométricos, auxiliar na busca de pessoas desaparecidas, na identificação de pessoas procuradas de forma automatizada e diversas outras aplicações no entretenimento. %Na última década, um número crescente de publicações teve como foco a aplicação de modelos generativos no estado da arte no envelhecimento facial. Na última década, houve um número crescente de publicações com foco na aplicação de modelos generativos para envelhecimento facial. A maioria dessas adaptaram uma arquitetura geral para atender aos desafios da tarefa adotada. Este trabalho descreve detalhadamente as arquiteturas mais importantes encontradas na literatura, as principais bases de dados e suas aplicações. Além disso, apresenta dois grupos de experimentos realizados: o primeiro compara os resultados de três modelos publicados entre 2017 e 2018 que utilizaram redes GANs, em três bases de dados: FG-NET, UTKFaces e CACD. O segundo grupo realiza um estudo comparativo entre dois modelos baseados em redes GANs, que foram publicados entre 2020 e 2021, com dois modelos de difusão condicionais que executam edição das imagens, os quais foram publicados entre 2022 e 2023 e empregaram base de imagens de alta resolução FFHQ-Aging (base de imagens FFHQ com a idade estimada das faces). Por fim, para medir a efetividade do envelhecimento facial nas imagens, modelos estimadores de idade e de verificação facial foram utilizados. Os resultados mostraram que GANs treinadas especialmente para essa tarefa têm obtido resultados superiores, porém, modelos de difusão condicionais genéricos, como os utilizados nesse último grupo de experimentos obtiveram resultados consideráveis, mesmo sem terem sido treinados para essa tarefa. Além do mais, muitos trabalhos recentes têm apresentado melhoria nos modelos de difusão, portanto, são esperados rápidos avanços em suas arquiteturas.
publishDate 2023
dc.date.none.fl_str_mv 2023-06-07
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/100/100131/tde-15092023-125055/
url https://www.teses.usp.br/teses/disponiveis/100/100131/tde-15092023-125055/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809090752040402944