Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodal

Detalhes bibliográficos
Autor(a) principal: Mangolin, Rafael Biazus
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)
Texto Completo: http://repositorio.uem.br:8080/jspui/handle/1/7557
Resumo: Orientador: Prof. Dr. Yandre Maldonado e Gomes da Costa
id UEM-10_ff91832a49f43c5719196ebc1f57df1c
oai_identifier_str oai:localhost:1/7557
network_acronym_str UEM-10
network_name_str Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)
repository_id_str
spelling Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodalMultirrótulosGênero cinematográficoDeep learning006.7Ciências Exatas e da TerraCiência da ComputaçãoOrientador: Prof. Dr. Yandre Maldonado e Gomes da CostaCoorientador: Diego Bertolini GonçalvesDissertação (mestrado em Ciência da Computação)--Universidade Estadual de Maringá, 2020Resumo: Classificação de gêneros cinematográficos se mostra uma tarefa desafiadora, atraindo cada vez mais a atenção de pesquisadores. O número de usuários que fazem uso das vantagens da classificação automática de filmes por gênero cresce rapidamente devido a popularização de serviços de streaming de filmes. Neste trabalho, é realizada a classificação multirrótulo de gêneros cinematográficos utilizando uma abordagem multimodal. Para esse propósito, foi criada uma base de dados composta pelos trailers, legendas, sinopses e pôsteres, obtidos a partir dos filmes contidos no repositório The Movie Database (TMDb). A base de dados foi cuidadosamente coletada e organizada, além de ser disponibilizada como uma das contribuições deste trabalho. Cada filme da base foi categorizado a partir de um conjunto de 18 rótulos de gênero. As características foram extraídas das fontes de informação disponíveis utilizando diferentes tipos de descritores, especificamente Mel Frequency Cepstral Coefficients (MFCCs), Statistical Spectrum Descriptor (SSD), Local Binary Pattern (LBP), histograma RGB, Long-Short Term Memory (LSTM) e Redes Neurais Convolucionais (CNN). Os descritores foram avaliados utilizando diferentes classificadores multirrótulo, como Relevância Binária e ML-kNN. Também foi investigado o desempenho da combinação de diferentes classificadores/características utilizando estratégias de late fusion, com as quais foram obtidos resultados encorajadores. Também foi realizado um estudo de ablação para verificar o impacto de cada fonte de informação nos resultados, identificando o impacto positivo das sinopses e o impacto negativo dos frames do trailer. Durante o desenvolvimento do estudo de ablação foram obtidos os melhores resultados deste trabalho. O melhor resultado alcançado, considerando a métrica F-Score, foi de 0,674, utilizando a estratégia de fusão com dois classificadores criados usando LSTM, um a partir das sinopses e outro a partir das legendas. Quando considerada a métrica AUC-PR, o melhor resultado foi de 0,725, obtido utilizando a mesma combinação de classificadores citados anteriormente. Esses resultados corroboram para a existência de complementaridade entre os classificadores baseados em diferentes fontes de informação, legenda e sinopse, para a classificação de gêneros cinematográficos, o que não havia sido estudado na literatura. Até aonde se sabe, este é o mais amplo estudo já realizado no que diz respeito ao uso de diferentes características e fontes de informação para a classificação multirrótulo de gêneros cinematográficos.Abstrat: Movie genre classification is a challenging task that has increasingly attracted the attention of researchers. The number of movie consumers interested in taking advantage of automatic movie genre classification is growing rapidly thanks to the popularization of media streaming service providers. In this paper, is address the multi-label classification of the movie genres in a multimodal way. For this purpose, was created a dataset composed of trailer video clips, subtitles, synopses, and movie posters taken from the movie titles in the repository The Movie Database (TMDb). The dataset was carefully curated and organized, and it was also made available as a contribution of this work. Each movie of the dataset was labeled according to a set of eighteen genre labels. The features were extracted from these data using different kinds of descriptors, namely Mel Frequency Cepstral Coefficients (MFCCs), Statistical Spectrum Descriptor (SSD), Local Binary Pattern (LBP) with spectrograms, Long-Short Term Memory (LSTM), and Convolutional Neural Networks (CNN). The descriptors were evaluated using different classifiers, such as BinaryRelevance and ML-kNN. Was also investigated the performance of the combination of different classifiers/features using a late fusion strategy, which obtained encouraging results. An ablation study was conducted to verify the impact of each source of information on the results, identifying the positive influence of the synopses and the negative influence of the trailer's frames. During the application of the ablation study, the best results of this work were obtained. The best result achieved, considering the metric F-Score, was 0.684, using the fusion strategy with two classifiers created using LSTM, one from the synopses and the other from the subtitles. When considering the AUC-PR metric, the best result, 0,725, was also achieved by combining those classifiers. These results corroborate the existence of complementarity among classifiers based on different sources of information, synopsis and subtitles, to movie genre classification, what had not been presented in the literature. As far as we know, this is the most comprehensive study developed in terms of the diversity of features and multimedia sources of information to perform movie genre classification.94 f. : il. (algumas color.).Universidade Estadual de MaringáDepartamento de InformáticaPrograma de Pós-Graduação em Ciência da ComputaçãoMaringá, PRCentro de TecnologiaCosta, Yandre Maldonado e Gomes daGonçalves, Diego BertoliniFeltrim, Valéria DelisandraOliveira, Luiz Eduardo Soares deMangolin, Rafael Biazus2024-05-20T14:38:48Z2024-05-20T14:38:48Z2020info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfMANGOLIN, Rafael Biazus. Classificação multirrótulo de gênero cinematográfico: uma abordagem multimodal. 2020. 94 f. Dissertação (mestrado em Ciência da Computação)--Universidade Estadual de Maringá, 2020, Maringá, PR.http://repositorio.uem.br:8080/jspui/handle/1/7557info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)instname:Universidade Estadual de Maringá (UEM)instacron:UEM2024-05-20T14:55:38Zoai:localhost:1/7557Repositório InstitucionalPUBhttp://repositorio.uem.br:8080/oai/requestopendoar:2024-05-20T14:55:38Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) - Universidade Estadual de Maringá (UEM)false
dc.title.none.fl_str_mv Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodal
title Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodal
spellingShingle Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodal
Mangolin, Rafael Biazus
Multirrótulos
Gênero cinematográfico
Deep learning
006.7
Ciências Exatas e da Terra
Ciência da Computação
title_short Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodal
title_full Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodal
title_fullStr Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodal
title_full_unstemmed Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodal
title_sort Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodal
author Mangolin, Rafael Biazus
author_facet Mangolin, Rafael Biazus
author_role author
dc.contributor.none.fl_str_mv Costa, Yandre Maldonado e Gomes da
Gonçalves, Diego Bertolini
Feltrim, Valéria Delisandra
Oliveira, Luiz Eduardo Soares de
dc.contributor.author.fl_str_mv Mangolin, Rafael Biazus
dc.subject.por.fl_str_mv Multirrótulos
Gênero cinematográfico
Deep learning
006.7
Ciências Exatas e da Terra
Ciência da Computação
topic Multirrótulos
Gênero cinematográfico
Deep learning
006.7
Ciências Exatas e da Terra
Ciência da Computação
description Orientador: Prof. Dr. Yandre Maldonado e Gomes da Costa
publishDate 2020
dc.date.none.fl_str_mv 2020
2024-05-20T14:38:48Z
2024-05-20T14:38:48Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv MANGOLIN, Rafael Biazus. Classificação multirrótulo de gênero cinematográfico: uma abordagem multimodal. 2020. 94 f. Dissertação (mestrado em Ciência da Computação)--Universidade Estadual de Maringá, 2020, Maringá, PR.
http://repositorio.uem.br:8080/jspui/handle/1/7557
identifier_str_mv MANGOLIN, Rafael Biazus. Classificação multirrótulo de gênero cinematográfico: uma abordagem multimodal. 2020. 94 f. Dissertação (mestrado em Ciência da Computação)--Universidade Estadual de Maringá, 2020, Maringá, PR.
url http://repositorio.uem.br:8080/jspui/handle/1/7557
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual de Maringá
Departamento de Informática
Programa de Pós-Graduação em Ciência da Computação
Maringá, PR
Centro de Tecnologia
publisher.none.fl_str_mv Universidade Estadual de Maringá
Departamento de Informática
Programa de Pós-Graduação em Ciência da Computação
Maringá, PR
Centro de Tecnologia
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)
instname:Universidade Estadual de Maringá (UEM)
instacron:UEM
instname_str Universidade Estadual de Maringá (UEM)
instacron_str UEM
institution UEM
reponame_str Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)
collection Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)
repository.name.fl_str_mv Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) - Universidade Estadual de Maringá (UEM)
repository.mail.fl_str_mv
_version_ 1801841373237739520

Registros relacionados