An analysis of sample synthesis for deep learning based object detection
Autor(a) principal: | |
---|---|
Data de Publicação: | 2020 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da USP |
Texto Completo: | https://www.teses.usp.br/teses/disponiveis/45/45134/tde-10112020-203810/ |
Resumo: | This work investigates the use of artificially synthesized images as an attempt to reduce the dependency of modern Deep Learning based Object Detection techniques on expensive supervision. In particular, we propose using a big number of synthesized detection samples to pretrain Object Detection architectures before finetuning them on real detection data. As the major contribution of this project, we experimentally demonstrate how this pretraining works as a powerful initialization strategy, allowing the models to achieve competitive results using only a fraction of the original real labeled data. Additionally, in order to synthesize these samples, we propose a synthesis pipeline capable of generating an infinite stream of artificial images paired with bounding box annotations. We demonstrate how it is possible to design such a working synthesis pipeline just using already existing GAN techniques. Moreover, all stages in our synthesis pipeline can be fully trained using only classification images. Therefore, we managed to take advantage of bigger and cheaper classification datasets in order to improve results on the harder and more supervision hungry Object Detection problem. We demonstrate the effectiveness of this pretraining initialization strategy combined with the proposed synthesis pipeline, by performing detection using four real world objects: QR Codes, Faces, Birds and Cars. |
id |
USP_5294f540bc55d5e0961e970fbdd9da60 |
---|---|
oai_identifier_str |
oai:teses.usp.br:tde-10112020-203810 |
network_acronym_str |
USP |
network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
repository_id_str |
2721 |
spelling |
An analysis of sample synthesis for deep learning based object detectionUma análise de síntese de exemplos para detecção de objetos baseada em deep learningAprendizado profundoDeep learningDeep learningDetecção de objetosGenerative modelsModelos gerativosObject detectionSample synthesisSíntese de amostrasThis work investigates the use of artificially synthesized images as an attempt to reduce the dependency of modern Deep Learning based Object Detection techniques on expensive supervision. In particular, we propose using a big number of synthesized detection samples to pretrain Object Detection architectures before finetuning them on real detection data. As the major contribution of this project, we experimentally demonstrate how this pretraining works as a powerful initialization strategy, allowing the models to achieve competitive results using only a fraction of the original real labeled data. Additionally, in order to synthesize these samples, we propose a synthesis pipeline capable of generating an infinite stream of artificial images paired with bounding box annotations. We demonstrate how it is possible to design such a working synthesis pipeline just using already existing GAN techniques. Moreover, all stages in our synthesis pipeline can be fully trained using only classification images. Therefore, we managed to take advantage of bigger and cheaper classification datasets in order to improve results on the harder and more supervision hungry Object Detection problem. We demonstrate the effectiveness of this pretraining initialization strategy combined with the proposed synthesis pipeline, by performing detection using four real world objects: QR Codes, Faces, Birds and Cars.Este trabalho investiga o uso de imagens sintetizadas como uma forma de reduzir a dependência de técnicas modernas de Detecção de Objetos, baseadas em Deep Learning, por formas caras de supervisão. Em particular, este trabalho propõe utilizar grandes quantidades de amostras de detecção sintetizadas para pré-treinar arquiteturas de Detecção de Objetos antes de ajustar estas arquiteturas usando dados reais. Como principal contribuição deste projeto, demonstramos experimentalmente como este pré-treinamento serve como uma poderosa estratégia de inicialização, permitindo que modelos atinjam resultados competitivos usando apenas uma fração dos dados rotulados reais. Além disso, para poder sintetizar estas amostras, propomos um pipeline de síntese capaz de gerar uma sequência infinita de imagens artificiais associadas a anotações no formato de bounding boxes. Demonstramos como é possível projetar este pipeline de síntese usando apenas técnicas já existentes baseadas em GANs. Além disso, todos os estágios do nosso pipeline de síntese podem ser completamente treinados usando apenas imagens rotuladas para classificação. Desta forma, fomos capazes de tirar proveito de datasets maiores e mais baratos de rotular, para melhorar os resultados em Detecção de Objetos, um problema mais difícil e para o qual produzir dados rotulados diretamente é mais custoso. Demonstramos a eficácia desta estratégia de inicialização via pré-treinamento, em combinação com nosso pipeline de síntese, através de experimentos envolvendo detecção de quatro objetos reais: Códigos QR, Faces, Pássaros, e Carros.Biblioteca Digitais de Teses e Dissertações da USPHirata, Nina Sumiko TomitaBlanger, Leonardo2020-10-16info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45134/tde-10112020-203810/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesseng2020-11-27T18:14:02Zoai:teses.usp.br:tde-10112020-203810Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212020-11-27T18:14:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
An analysis of sample synthesis for deep learning based object detection Uma análise de síntese de exemplos para detecção de objetos baseada em deep learning |
title |
An analysis of sample synthesis for deep learning based object detection |
spellingShingle |
An analysis of sample synthesis for deep learning based object detection Blanger, Leonardo Aprendizado profundo Deep learning Deep learning Detecção de objetos Generative models Modelos gerativos Object detection Sample synthesis Síntese de amostras |
title_short |
An analysis of sample synthesis for deep learning based object detection |
title_full |
An analysis of sample synthesis for deep learning based object detection |
title_fullStr |
An analysis of sample synthesis for deep learning based object detection |
title_full_unstemmed |
An analysis of sample synthesis for deep learning based object detection |
title_sort |
An analysis of sample synthesis for deep learning based object detection |
author |
Blanger, Leonardo |
author_facet |
Blanger, Leonardo |
author_role |
author |
dc.contributor.none.fl_str_mv |
Hirata, Nina Sumiko Tomita |
dc.contributor.author.fl_str_mv |
Blanger, Leonardo |
dc.subject.por.fl_str_mv |
Aprendizado profundo Deep learning Deep learning Detecção de objetos Generative models Modelos gerativos Object detection Sample synthesis Síntese de amostras |
topic |
Aprendizado profundo Deep learning Deep learning Detecção de objetos Generative models Modelos gerativos Object detection Sample synthesis Síntese de amostras |
description |
This work investigates the use of artificially synthesized images as an attempt to reduce the dependency of modern Deep Learning based Object Detection techniques on expensive supervision. In particular, we propose using a big number of synthesized detection samples to pretrain Object Detection architectures before finetuning them on real detection data. As the major contribution of this project, we experimentally demonstrate how this pretraining works as a powerful initialization strategy, allowing the models to achieve competitive results using only a fraction of the original real labeled data. Additionally, in order to synthesize these samples, we propose a synthesis pipeline capable of generating an infinite stream of artificial images paired with bounding box annotations. We demonstrate how it is possible to design such a working synthesis pipeline just using already existing GAN techniques. Moreover, all stages in our synthesis pipeline can be fully trained using only classification images. Therefore, we managed to take advantage of bigger and cheaper classification datasets in order to improve results on the harder and more supervision hungry Object Detection problem. We demonstrate the effectiveness of this pretraining initialization strategy combined with the proposed synthesis pipeline, by performing detection using four real world objects: QR Codes, Faces, Birds and Cars. |
publishDate |
2020 |
dc.date.none.fl_str_mv |
2020-10-16 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/45/45134/tde-10112020-203810/ |
url |
https://www.teses.usp.br/teses/disponiveis/45/45134/tde-10112020-203810/ |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.none.fl_str_mv |
|
dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.coverage.none.fl_str_mv |
|
dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
collection |
Biblioteca Digital de Teses e Dissertações da USP |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
_version_ |
1815256927523831808 |