Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina

Detalhes bibliográficos
Autor(a) principal: Moura, Camila Stéffane Fernandes Teixeira de, 1991-
Data de Publicação: 2021
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
Texto Completo: https://hdl.handle.net/20.500.12733/1640964
Resumo: Orientador: Anderson de Rezende Rocha
id UNICAMP-30_3bcaa7c652baf43cc979ceec2cb0a374
oai_identifier_str oai::1162078
network_acronym_str UNICAMP-30
network_name_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository_id_str
spelling Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquinaDeepFake detection through computer vision and machine learning techniquesDetecção de deepfakesAprendizado de máquinaVisão por computadorImagens manipuladasDeepfakes detectionMachine learningComputer visionManipulated imagesOrientador: Anderson de Rezende RochaDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Com os avanços tecnológicos e o acesso a informações em tempo real, identificar a veracidade do conteúdo consumido tem motivado o desenvolvimento de pesquisas relacionadas a uma nova classe de problemas, conhecidas como notícias falsas. Estendendo essa evolução a diferentes tipos de representações de conteúdo, encontramos uma das mais preocupantes técnicas que vem sendo utilizada: as DeepFakes. Nesta técnica, imagens ou vídeos são artificialmente manipulados a fim de alterar a identidade do interlocutor principal, por meio da troca de face entre duas pessoas. Para isto, são aplicadas técnicas de aprendizado profundo clássicas, além de novas arquiteturas que minimizam o tempo e a quantidade de dados necessários para produzir conteúdos sintéticos/falsos com alto grau de realismo. Analisando essa crescente problemática e os impactos sociais decorrentes em áreas políticas, de entretenimento. Desenvolvemos este projeto, que visa analisar como as técnicas de aprendizado de máquina e aprendizado profundo podem auxiliar na detecção das DeepFakes. No decorrer deste trabalho, analisamos algumas das principais bases de dados disponíveis, além de desenvolvermos a nossa própria base, composta de vídeos falsos de conteúdo sensível envolvendo apenas mulheres, principal publico alvo de DeepFakes para entretenimento adulto. Avaliamos o comportamento de técnicas tradicionais de aprendizado profundo para a tarefa de classificação entre imagens com e sem manipulações faciais, assim como, a influência de características específicas das imagens e o impacto na qualidade do modelo de detecção gerado. A partir das análises iniciais realizadas, desenvolvemos o nosso método base, em que realizamos o ajuste fino das camadas finais da rede, adaptando-a para a tarefa de classificação binária. Avaliamos a performance deste método, o aplicando a diferentes bases de dados, com as quais obtivemos classificações satisfatórios para quase todas as bases. Em seguida, e com o intuito de aumentar a eficiência da classificação, empregamos três métodos: aumentação de dados,espaços transformados de entrada e função de perda tripla. Para avaliar a robustez dos melhores modelos desenvolvidos, realizamos um teste cego, em que nossos modelos foram submetidos a cenários desconhecidos. Com isso, identificamos que um dos nossos mo-delos, conseguiu ser generalizar e, decidimos comparar nossos resultados com os obtidos pela literatura. Selecionamos os trabalhos mais utilizados para a detecção de DeepFakes e avaliamos o desempenho dos modelos disponibilizados para cada método, diante de um cenário desconhecido e concluímos que o método que propomos foi superior à literatura.Abstract: With technological advances and access to information in real-time, identifying the veracity of the content consumed has motivated the development of research related to anew class of problems known as fake news. Extending this evolution to different types of content representations, one of the most worrying techniques already in use is called DeepFakes. In this technique, images or videos are artificially manipulated to change the identity of the main interlocutor by exchanging faces between two people. For this fake news, classical deep learning techniques are applied, in addition to the development of new architectures that minimize the time and the amount of data provided for synthetic/fake content. Analyzing this growing problem and the social impacts arising in political and entertainment areas, we developed this project, in which we investigates how machine and deep learning techniques can assist in the task of DeepFakes detection. In the course of our work, we analyzed some of the main databases available for this problem, in addition to developing our own database, composed of fake content videos involving only women, the main target audience of DeepFakes for adult entertainment. We evaluated the behavior of traditional deep learning techniques for classifying between images with and without facial manipulations, as well as the influence of specific characteristics of the images and the impact on the quality of the generated detection model. From these analyzes, we developed our base method, in which we fine-tune the final layers of a network, adapting it for the binary classification task. We evaluated this method’s performance, applying it to different databases, and we obtained satisfactory detection rate for almost all databases. Then, to increase the classification’s efficiency, we employed three methods: data augmentation, transformed input spaces, and triplet loss function. To assess the robustness of the best models developed, we carried out a blind test, in which our models were applied in unknown scenarios. Thus we identified that one of our models managed to generalize, and we decided to compare our results with those from the literature. We selected the most used works for DeepFakes detection and evaluated their performances in the face of an unknown scenario. We concluded that the method we proposed was superior to the literature.MestradoCiência da ComputaçãoMestra em Ciência da ComputaçãoCAPES001[s.n.]Rocha, Anderson de Rezende, 1980-Papa, João PauloReis, Julio Cesar dosUniversidade Estadual de Campinas. Instituto de ComputaçãoPrograma de Pós-Graduação em Ciência da ComputaçãoUNIVERSIDADE ESTADUAL DE CAMPINASMoura, Camila Stéffane Fernandes Teixeira de, 1991-20212021-03-01T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdf1 recurso online ( 105 p.) : il., digital, arquivo PDF.https://hdl.handle.net/20.500.12733/1640964MOURA, Camila Stéffane Fernandes Teixeira de. Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina . 2021. 1 recurso online ( 105 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1640964. Acesso em: 15 mai. 2024.https://repositorio.unicamp.br/acervo/detalhe/1162078Requisitos do sistema: Software para leitura de arquivo em PDFporreponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)instname:Universidade Estadual de Campinas (UNICAMP)instacron:UNICAMPinfo:eu-repo/semantics/openAccess2021-04-06T14:27:48Zoai::1162078Biblioteca Digital de Teses e DissertaçõesPUBhttp://repositorio.unicamp.br/oai/tese/oai.aspsbubd@unicamp.bropendoar:2021-04-06T14:27:48Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)false
dc.title.none.fl_str_mv Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina
DeepFake detection through computer vision and machine learning techniques
title Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina
spellingShingle Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina
Moura, Camila Stéffane Fernandes Teixeira de, 1991-
Detecção de deepfakes
Aprendizado de máquina
Visão por computador
Imagens manipuladas
Deepfakes detection
Machine learning
Computer vision
Manipulated images
title_short Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina
title_full Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina
title_fullStr Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina
title_full_unstemmed Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina
title_sort Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina
author Moura, Camila Stéffane Fernandes Teixeira de, 1991-
author_facet Moura, Camila Stéffane Fernandes Teixeira de, 1991-
author_role author
dc.contributor.none.fl_str_mv Rocha, Anderson de Rezende, 1980-
Papa, João Paulo
Reis, Julio Cesar dos
Universidade Estadual de Campinas. Instituto de Computação
Programa de Pós-Graduação em Ciência da Computação
UNIVERSIDADE ESTADUAL DE CAMPINAS
dc.contributor.author.fl_str_mv Moura, Camila Stéffane Fernandes Teixeira de, 1991-
dc.subject.por.fl_str_mv Detecção de deepfakes
Aprendizado de máquina
Visão por computador
Imagens manipuladas
Deepfakes detection
Machine learning
Computer vision
Manipulated images
topic Detecção de deepfakes
Aprendizado de máquina
Visão por computador
Imagens manipuladas
Deepfakes detection
Machine learning
Computer vision
Manipulated images
description Orientador: Anderson de Rezende Rocha
publishDate 2021
dc.date.none.fl_str_mv 2021
2021-03-01T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/20.500.12733/1640964
MOURA, Camila Stéffane Fernandes Teixeira de. Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina . 2021. 1 recurso online ( 105 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1640964. Acesso em: 15 mai. 2024.
url https://hdl.handle.net/20.500.12733/1640964
identifier_str_mv MOURA, Camila Stéffane Fernandes Teixeira de. Detecção de Deepfakes a partir de técnicas de visão computacional e aprendizado de máquina . 2021. 1 recurso online ( 105 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1640964. Acesso em: 15 mai. 2024.
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://repositorio.unicamp.br/acervo/detalhe/1162078
Requisitos do sistema: Software para leitura de arquivo em PDF
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
1 recurso online ( 105 p.) : il., digital, arquivo PDF.
dc.publisher.none.fl_str_mv [s.n.]
publisher.none.fl_str_mv [s.n.]
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
instname:Universidade Estadual de Campinas (UNICAMP)
instacron:UNICAMP
instname_str Universidade Estadual de Campinas (UNICAMP)
instacron_str UNICAMP
institution UNICAMP
reponame_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
collection Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)
repository.mail.fl_str_mv sbubd@unicamp.br
_version_ 1799138559885574144

Registros relacionados