Classificação de imagens de moda utilizando modelos de aprendizado profundo com pré-treinamento contrastivo multimodal

Detalhes bibliográficos
Autor(a) principal: Cin, Vinicius
Data de Publicação: 2023
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UFSC
Texto Completo: https://repositorio.ufsc.br/handle/123456789/253436
Resumo: TCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia Eletrônica.
id UFSC_0e5cfa2df521516d4f0aa0d4ae454472
oai_identifier_str oai:repositorio.ufsc.br:123456789/253436
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str 2373
spelling Classificação de imagens de moda utilizando modelos de aprendizado profundo com pré-treinamento contrastivo multimodalVisão computacionalClassificaçãoCLIPTCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia Eletrônica.Este trabalho apresenta uma comparação entre diferentes arquiteturas de redes neurais profundas para a tarefa de classificação de imagens de moda. A utilização de modelos pré-treinados no ImageNet é prática comum ao treinar-se um modelo para classificação de imagens. Em um trabalho recente, (RADFORD et al., 2021) demonstra em seu estudo que modelos de classificação pré-treinados com o método CLIP (Contrastive Language-Image Pre-training), performam significativamente melhor do que outros modelos, atingindo o estado da arte em 21 de 27 diferentes conjuntos de dados. O objetivo deste trabalho é avaliar a acurácia de modelos pré-treinados com o método CLIP, que utiliza aprendizado contrastivo a partir de imagens e textos, e compará-los com modelos pré-treinados no conjunto de dados ImageNet. Para a comparação, utiliza-se um subconjunto pré-processado das imagens do conjunto de dados Deep Fashion, contendo aproximadamente 80 mil imagens de 16 classes de roupas. O modelo pré-treinado com o método CLIP obteve a maior acurácia, com uma diferença de 3.00 pontos percentuais em relação ao melhor modelo pré-treinado no ImageNet, demonstrando a vantagem do pré-treinamento contrastivo multimodal para a classificação de imagens de moda.This work presents a comparison between different deep neural network architectures for the fashion image classification task. The use of pre-trained models on ImageNet is a common practice when training a model for image classification. In a recent work, (RADFORD et al., 2021) demonstrates in his study that classification models pre-trained with the CLIP method (Contrastive Language-Image Pre-training), perform significantly better than other models, reaching the state of art in 21 of 27 different datasets. The objective of this work is to evaluate the accuracy of models pre-trained with the CLIP method, which uses contrastive learning from images and texts, and compare them with models pre-trained on the ImageNet dataset. For comparison, a pre-processed subset of images from the Deep Fashion dataset is used, containing approximately 80 thousand images from 16 clothing classes. The model pre-trained with the CLIP method achieved the highest accuracy, with a difference of 3.00 percentage points in relation to the best pre-trained model on ImageNet, demonstrating the advantage of multimodal contrastive pre-training for classifying fashion images.Florianópolis, SC.Silva, DaniloUniversidade Federal de Santa CatarinaCin, Vinicius2023-12-18T18:34:41Z2023-12-18T18:34:41Z2023-12-08info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesis67 f.application/pdfhttps://repositorio.ufsc.br/handle/123456789/253436Open Access.info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSC2023-12-18T18:34:41Zoai:repositorio.ufsc.br:123456789/253436Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestopendoar:23732023-12-18T18:34:41Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Classificação de imagens de moda utilizando modelos de aprendizado profundo com pré-treinamento contrastivo multimodal
title Classificação de imagens de moda utilizando modelos de aprendizado profundo com pré-treinamento contrastivo multimodal
spellingShingle Classificação de imagens de moda utilizando modelos de aprendizado profundo com pré-treinamento contrastivo multimodal
Cin, Vinicius
Visão computacional
Classificação
CLIP
title_short Classificação de imagens de moda utilizando modelos de aprendizado profundo com pré-treinamento contrastivo multimodal
title_full Classificação de imagens de moda utilizando modelos de aprendizado profundo com pré-treinamento contrastivo multimodal
title_fullStr Classificação de imagens de moda utilizando modelos de aprendizado profundo com pré-treinamento contrastivo multimodal
title_full_unstemmed Classificação de imagens de moda utilizando modelos de aprendizado profundo com pré-treinamento contrastivo multimodal
title_sort Classificação de imagens de moda utilizando modelos de aprendizado profundo com pré-treinamento contrastivo multimodal
author Cin, Vinicius
author_facet Cin, Vinicius
author_role author
dc.contributor.none.fl_str_mv Silva, Danilo
Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Cin, Vinicius
dc.subject.por.fl_str_mv Visão computacional
Classificação
CLIP
topic Visão computacional
Classificação
CLIP
description TCC (graduação) - Universidade Federal de Santa Catarina, Centro Tecnológico, Engenharia Eletrônica.
publishDate 2023
dc.date.none.fl_str_mv 2023-12-18T18:34:41Z
2023-12-18T18:34:41Z
2023-12-08
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/253436
url https://repositorio.ufsc.br/handle/123456789/253436
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Open Access.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Open Access.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 67 f.
application/pdf
dc.publisher.none.fl_str_mv Florianópolis, SC.
publisher.none.fl_str_mv Florianópolis, SC.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv
_version_ 1808652316877783040

Registros relacionados