An analysis of sample synthesis for deep learning based object detection

Detalhes bibliográficos
Autor(a) principal: Blanger, Leonardo
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Biblioteca Digital de Teses e Dissertações da USP
Texto Completo: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-10112020-203810/
Resumo: This work investigates the use of artificially synthesized images as an attempt to reduce the dependency of modern Deep Learning based Object Detection techniques on expensive supervision. In particular, we propose using a big number of synthesized detection samples to pretrain Object Detection architectures before finetuning them on real detection data. As the major contribution of this project, we experimentally demonstrate how this pretraining works as a powerful initialization strategy, allowing the models to achieve competitive results using only a fraction of the original real labeled data. Additionally, in order to synthesize these samples, we propose a synthesis pipeline capable of generating an infinite stream of artificial images paired with bounding box annotations. We demonstrate how it is possible to design such a working synthesis pipeline just using already existing GAN techniques. Moreover, all stages in our synthesis pipeline can be fully trained using only classification images. Therefore, we managed to take advantage of bigger and cheaper classification datasets in order to improve results on the harder and more supervision hungry Object Detection problem. We demonstrate the effectiveness of this pretraining initialization strategy combined with the proposed synthesis pipeline, by performing detection using four real world objects: QR Codes, Faces, Birds and Cars.
id USP_5294f540bc55d5e0961e970fbdd9da60
oai_identifier_str oai:teses.usp.br:tde-10112020-203810
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str 2721
spelling An analysis of sample synthesis for deep learning based object detectionUma análise de síntese de exemplos para detecção de objetos baseada em deep learningAprendizado profundoDeep learningDeep learningDetecção de objetosGenerative modelsModelos gerativosObject detectionSample synthesisSíntese de amostrasThis work investigates the use of artificially synthesized images as an attempt to reduce the dependency of modern Deep Learning based Object Detection techniques on expensive supervision. In particular, we propose using a big number of synthesized detection samples to pretrain Object Detection architectures before finetuning them on real detection data. As the major contribution of this project, we experimentally demonstrate how this pretraining works as a powerful initialization strategy, allowing the models to achieve competitive results using only a fraction of the original real labeled data. Additionally, in order to synthesize these samples, we propose a synthesis pipeline capable of generating an infinite stream of artificial images paired with bounding box annotations. We demonstrate how it is possible to design such a working synthesis pipeline just using already existing GAN techniques. Moreover, all stages in our synthesis pipeline can be fully trained using only classification images. Therefore, we managed to take advantage of bigger and cheaper classification datasets in order to improve results on the harder and more supervision hungry Object Detection problem. We demonstrate the effectiveness of this pretraining initialization strategy combined with the proposed synthesis pipeline, by performing detection using four real world objects: QR Codes, Faces, Birds and Cars.Este trabalho investiga o uso de imagens sintetizadas como uma forma de reduzir a dependência de técnicas modernas de Detecção de Objetos, baseadas em Deep Learning, por formas caras de supervisão. Em particular, este trabalho propõe utilizar grandes quantidades de amostras de detecção sintetizadas para pré-treinar arquiteturas de Detecção de Objetos antes de ajustar estas arquiteturas usando dados reais. Como principal contribuição deste projeto, demonstramos experimentalmente como este pré-treinamento serve como uma poderosa estratégia de inicialização, permitindo que modelos atinjam resultados competitivos usando apenas uma fração dos dados rotulados reais. Além disso, para poder sintetizar estas amostras, propomos um pipeline de síntese capaz de gerar uma sequência infinita de imagens artificiais associadas a anotações no formato de bounding boxes. Demonstramos como é possível projetar este pipeline de síntese usando apenas técnicas já existentes baseadas em GANs. Além disso, todos os estágios do nosso pipeline de síntese podem ser completamente treinados usando apenas imagens rotuladas para classificação. Desta forma, fomos capazes de tirar proveito de datasets maiores e mais baratos de rotular, para melhorar os resultados em Detecção de Objetos, um problema mais difícil e para o qual produzir dados rotulados diretamente é mais custoso. Demonstramos a eficácia desta estratégia de inicialização via pré-treinamento, em combinação com nosso pipeline de síntese, através de experimentos envolvendo detecção de quatro objetos reais: Códigos QR, Faces, Pássaros, e Carros.Biblioteca Digitais de Teses e Dissertações da USPHirata, Nina Sumiko TomitaBlanger, Leonardo2020-10-16info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45134/tde-10112020-203810/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesseng2020-11-27T18:14:02Zoai:teses.usp.br:tde-10112020-203810Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212020-11-27T18:14:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv An analysis of sample synthesis for deep learning based object detection
Uma análise de síntese de exemplos para detecção de objetos baseada em deep learning
title An analysis of sample synthesis for deep learning based object detection
spellingShingle An analysis of sample synthesis for deep learning based object detection
Blanger, Leonardo
Aprendizado profundo
Deep learning
Deep learning
Detecção de objetos
Generative models
Modelos gerativos
Object detection
Sample synthesis
Síntese de amostras
title_short An analysis of sample synthesis for deep learning based object detection
title_full An analysis of sample synthesis for deep learning based object detection
title_fullStr An analysis of sample synthesis for deep learning based object detection
title_full_unstemmed An analysis of sample synthesis for deep learning based object detection
title_sort An analysis of sample synthesis for deep learning based object detection
author Blanger, Leonardo
author_facet Blanger, Leonardo
author_role author
dc.contributor.none.fl_str_mv Hirata, Nina Sumiko Tomita
dc.contributor.author.fl_str_mv Blanger, Leonardo
dc.subject.por.fl_str_mv Aprendizado profundo
Deep learning
Deep learning
Detecção de objetos
Generative models
Modelos gerativos
Object detection
Sample synthesis
Síntese de amostras
topic Aprendizado profundo
Deep learning
Deep learning
Detecção de objetos
Generative models
Modelos gerativos
Object detection
Sample synthesis
Síntese de amostras
description This work investigates the use of artificially synthesized images as an attempt to reduce the dependency of modern Deep Learning based Object Detection techniques on expensive supervision. In particular, we propose using a big number of synthesized detection samples to pretrain Object Detection architectures before finetuning them on real detection data. As the major contribution of this project, we experimentally demonstrate how this pretraining works as a powerful initialization strategy, allowing the models to achieve competitive results using only a fraction of the original real labeled data. Additionally, in order to synthesize these samples, we propose a synthesis pipeline capable of generating an infinite stream of artificial images paired with bounding box annotations. We demonstrate how it is possible to design such a working synthesis pipeline just using already existing GAN techniques. Moreover, all stages in our synthesis pipeline can be fully trained using only classification images. Therefore, we managed to take advantage of bigger and cheaper classification datasets in order to improve results on the harder and more supervision hungry Object Detection problem. We demonstrate the effectiveness of this pretraining initialization strategy combined with the proposed synthesis pipeline, by performing detection using four real world objects: QR Codes, Faces, Birds and Cars.
publishDate 2020
dc.date.none.fl_str_mv 2020-10-16
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/45/45134/tde-10112020-203810/
url https://www.teses.usp.br/teses/disponiveis/45/45134/tde-10112020-203810/
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1815256927523831808