Um estudo de geração de quadros intermediários usando redes generativas para auxiliar artistas de animações tradicionais

Detalhes bibliográficos
Autor(a) principal: Ciccarelli, Gianluca Takara
Data de Publicação: 2023
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-05022024-171558/
Resumo: A industria de animações tradicionais vem apresentando grande crescimento nas últimas decadas. Dentre essas, destacou-se o estilo \"anime\", tipo de animação produzida primariamente no Japão. Animações tradicionais deste tipo são caracterizadas por uma grande quantidade de quadros desenhados manualmente, e também pela exageração dos traços e aspectos dos elementos presentes em uma cena, frequentemente deixando de representar certos objetos de uma forma mais realística para ressaltar seus principais aspectos. À medida que cresce a demanda por mais animações deste tipo, cresce também a carga de trabalho sobre os artistas encarregados por elas. Na animação tradicional, isso se reflete no aumento da quantidade de quadros que precisam ser desenhados, uma vez que o número de quadros apresentados em cada cena costuma influenciar diretamente na qualidade percebida por quem a vê. Este processo apresenta um desafio para estudios de animação, uma vez que ele necessita, em grande parte, ser feito à mão, por depender muito da visão artística de quem o desenha. Há também a dificuldade em implementar automações em sua confecção, visto que as ferramentas disponíveis hoje produzem resultados notavelmente diferentes do esperado em animações de grande porte. Nesta dissertação estudamos a viabilidade da geração de quadros intermediários em animações tradicionais utilizando redes neurais. Apresentamos os desafios em treinar uma rede para este propósito, que são a escassez de imagens propícias para sua realização, bem como a impossibilidade de utilizar métodos de interpolação de vídeo já existentes por conta da notável diferença entre desenhos e imagens reais. Explicamos também a metodologia e experimentos realizados, que têm como objetivo analisar os resultados da inferência temporal das imagens, calculada para cada par de quadros na animação original. Para facilitar a aplicação e visualização dos modelos implementados, desenvolvemos um programa de código aberto que realiza a interpolação de quadros intermediários a partir de um conjunto de quadros reais. Esse programa pode inspirar futuros desenvolvedores a criar uma ferramenta profissional para artistas utilizarem em suas criações.
id USP_58a3b0d7e22190976164c468eebdedf7
oai_identifier_str oai:teses.usp.br:tde-05022024-171558
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling Um estudo de geração de quadros intermediários usando redes generativas para auxiliar artistas de animações tradicionaisA study of frame inbetweening using generative networks to assist traditional animation artistsAnimação tradicionalFrame interpolationInterpolação de quadrosNeural networkRede neuralTraditional animationA industria de animações tradicionais vem apresentando grande crescimento nas últimas decadas. Dentre essas, destacou-se o estilo \"anime\", tipo de animação produzida primariamente no Japão. Animações tradicionais deste tipo são caracterizadas por uma grande quantidade de quadros desenhados manualmente, e também pela exageração dos traços e aspectos dos elementos presentes em uma cena, frequentemente deixando de representar certos objetos de uma forma mais realística para ressaltar seus principais aspectos. À medida que cresce a demanda por mais animações deste tipo, cresce também a carga de trabalho sobre os artistas encarregados por elas. Na animação tradicional, isso se reflete no aumento da quantidade de quadros que precisam ser desenhados, uma vez que o número de quadros apresentados em cada cena costuma influenciar diretamente na qualidade percebida por quem a vê. Este processo apresenta um desafio para estudios de animação, uma vez que ele necessita, em grande parte, ser feito à mão, por depender muito da visão artística de quem o desenha. Há também a dificuldade em implementar automações em sua confecção, visto que as ferramentas disponíveis hoje produzem resultados notavelmente diferentes do esperado em animações de grande porte. Nesta dissertação estudamos a viabilidade da geração de quadros intermediários em animações tradicionais utilizando redes neurais. Apresentamos os desafios em treinar uma rede para este propósito, que são a escassez de imagens propícias para sua realização, bem como a impossibilidade de utilizar métodos de interpolação de vídeo já existentes por conta da notável diferença entre desenhos e imagens reais. Explicamos também a metodologia e experimentos realizados, que têm como objetivo analisar os resultados da inferência temporal das imagens, calculada para cada par de quadros na animação original. Para facilitar a aplicação e visualização dos modelos implementados, desenvolvemos um programa de código aberto que realiza a interpolação de quadros intermediários a partir de um conjunto de quadros reais. Esse programa pode inspirar futuros desenvolvedores a criar uma ferramenta profissional para artistas utilizarem em suas criações.The industry of traditional animations has seen considerable growth in the last decades. One type of animation that has made a great impression is the \"anime\" style, which is primarily produced in Japan. Traditional animations of this kind are characterized by a great amount of hand-drawn frames, and by an exaggerated use of strokes and perspectives in a scene, frequently opting to not present certain elements realistically in order to highlight some of their features. As the demand for this kind of animation grows, the workload of the artists in change follows suit. In traditional animation, this is reflected in an increased number of frames that must be drawn, since the quantity of frames in each scene has a direct correlation with the perceived quality of those who view it. This process presents a challenge for animation studios, as it is predominantly handmade due to its dependency on the artistic vision of those who draw it. It is also difficult to implement automation in its creation, as the tools available today produce results notably different from what is expected by high-quality animations. In this dissertation, we study the viability of using neural networks to generate inbetween frames in traditional animation. We present the challenges in training a network for this purpose, which are the scarcity of valid images for its training, as well as the impossibility of using well-known video interpolation methods due to the notable difference between drawings and real footage. We also explain the methodology and experiments performed, which were used to analyze the results of the temporal image inference, calculated for each pair of frames from the original animation. In order to facilitate the visualization of the implemented models, we have developed an open-source program that can interpolate inbetween frames by using a set of real frames, and that may inspire future developers to create professional tools for artists to use.Biblioteca Digitais de Teses e Dissertações da USPHirata Junior, RobertoCiccarelli, Gianluca Takara2023-12-04info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45134/tde-05022024-171558/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2024-02-06T15:20:02Zoai:teses.usp.br:tde-05022024-171558Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212024-02-06T15:20:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Um estudo de geração de quadros intermediários usando redes generativas para auxiliar artistas de animações tradicionais
A study of frame inbetweening using generative networks to assist traditional animation artists
title Um estudo de geração de quadros intermediários usando redes generativas para auxiliar artistas de animações tradicionais
spellingShingle Um estudo de geração de quadros intermediários usando redes generativas para auxiliar artistas de animações tradicionais
Ciccarelli, Gianluca Takara
Animação tradicional
Frame interpolation
Interpolação de quadros
Neural network
Rede neural
Traditional animation
title_short Um estudo de geração de quadros intermediários usando redes generativas para auxiliar artistas de animações tradicionais
title_full Um estudo de geração de quadros intermediários usando redes generativas para auxiliar artistas de animações tradicionais
title_fullStr Um estudo de geração de quadros intermediários usando redes generativas para auxiliar artistas de animações tradicionais
title_full_unstemmed Um estudo de geração de quadros intermediários usando redes generativas para auxiliar artistas de animações tradicionais
title_sort Um estudo de geração de quadros intermediários usando redes generativas para auxiliar artistas de animações tradicionais
author Ciccarelli, Gianluca Takara
author_facet Ciccarelli, Gianluca Takara
author_role author
dc.contributor.none.fl_str_mv Hirata Junior, Roberto
dc.contributor.author.fl_str_mv Ciccarelli, Gianluca Takara
dc.subject.por.fl_str_mv Animação tradicional
Frame interpolation
Interpolação de quadros
Neural network
Rede neural
Traditional animation
topic Animação tradicional
Frame interpolation
Interpolação de quadros
Neural network
Rede neural
Traditional animation
description A industria de animações tradicionais vem apresentando grande crescimento nas últimas decadas. Dentre essas, destacou-se o estilo \"anime\", tipo de animação produzida primariamente no Japão. Animações tradicionais deste tipo são caracterizadas por uma grande quantidade de quadros desenhados manualmente, e também pela exageração dos traços e aspectos dos elementos presentes em uma cena, frequentemente deixando de representar certos objetos de uma forma mais realística para ressaltar seus principais aspectos. À medida que cresce a demanda por mais animações deste tipo, cresce também a carga de trabalho sobre os artistas encarregados por elas. Na animação tradicional, isso se reflete no aumento da quantidade de quadros que precisam ser desenhados, uma vez que o número de quadros apresentados em cada cena costuma influenciar diretamente na qualidade percebida por quem a vê. Este processo apresenta um desafio para estudios de animação, uma vez que ele necessita, em grande parte, ser feito à mão, por depender muito da visão artística de quem o desenha. Há também a dificuldade em implementar automações em sua confecção, visto que as ferramentas disponíveis hoje produzem resultados notavelmente diferentes do esperado em animações de grande porte. Nesta dissertação estudamos a viabilidade da geração de quadros intermediários em animações tradicionais utilizando redes neurais. Apresentamos os desafios em treinar uma rede para este propósito, que são a escassez de imagens propícias para sua realização, bem como a impossibilidade de utilizar métodos de interpolação de vídeo já existentes por conta da notável diferença entre desenhos e imagens reais. Explicamos também a metodologia e experimentos realizados, que têm como objetivo analisar os resultados da inferência temporal das imagens, calculada para cada par de quadros na animação original. Para facilitar a aplicação e visualização dos modelos implementados, desenvolvemos um programa de código aberto que realiza a interpolação de quadros intermediários a partir de um conjunto de quadros reais. Esse programa pode inspirar futuros desenvolvedores a criar uma ferramenta profissional para artistas utilizarem em suas criações.
publishDate 2023
dc.date.none.fl_str_mv 2023-12-04
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/45/45134/tde-05022024-171558/
url https://www.teses.usp.br/teses/disponiveis/45/45134/tde-05022024-171558/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809090399164170240