Análise de sentimentos usando redes neurais de convolução

Detalhes bibliográficos
Autor(a) principal: Santos, Igor Pedro Pinto dos
Data de Publicação: 2017
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da UERJ
Texto Completo: http://www.bdtd.uerj.br/handle/1/11853
Resumo: Convolutional neural networks are known for their excellent performance in computer vision, achieving results in the state of the art. However, recent work has shown that these networks can also work for natural language processing. In this case, the basic idea is to concatenate the vector representations of words into a single block and use it as an image. However, despite the good results, the problem of convolution networks is the large numbers of design decisions that need to be made. These models require the definition of many hyperparameters, including the type of word embeddings, which consists of the vector representation of the data, the activation function that introduces nonlinearity to the model, the size of the filter that applies convolution to the data, the number of feature maps which are responsible for identifying the attributes, the pooling method used in data reduction, in addition to the regularization constant and the dropout rate, which are responsible for avoiding overfitting of the network. In existing works, convolutional neural network architectures capable of overcoming the performance of traditional machine learning models were presented and these can compete with more complex models. However, it has not been explored how the different possibilities of hyperparameters can affect the performance of this type of network. In this dissertation, the objective is to create an efficient sentiment analysis classifier using convolutional neural networks by analyzing the impact of their hyperparameters on model performance. The interest in analyzing sentiment comes from the advent of social media and the technological advances that flood the Internetwith opinions. The results achieved were obtained with the use of GPU and show that the different configurations exceed the reference models in themajority of themwith gains of up to 18% and have similar performance to themodels in the state of the art with gains of up to 2% in some cases.
id UERJ_38243f4fa61e37efabe3cc3c348f5475
oai_identifier_str oai:www.bdtd.uerj.br:1/11853
network_acronym_str UERJ
network_name_str Biblioteca Digital de Teses e Dissertações da UERJ
repository_id_str 2903
spelling Nedjah, Nadiahttp://lattes.cnpq.br/5417946704251656Mourelle, Luiza de Macedohttp://lattes.cnpq.br/4189604454431782Oliveira, Luiz Eduardo Soares dehttp://lattes.cnpq.br/8607171759049558Silva, Leila Weitzel Coelho dahttp://lattes.cnpq.br/2768655384552211http://lattes.cnpq.br/8156636180528863Santos, Igor Pedro Pinto dos2021-01-06T19:19:30Z2018-04-162017-08-14SANTOS, Igor Pedro Pinto dos. Análise de sentimentos usando redes neurais de convolução. 2017. 126 f. Dissertação (Mestrado em Redes de Telecomunicações; Sistemas Inteligentes e Automação) - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2017.http://www.bdtd.uerj.br/handle/1/11853Convolutional neural networks are known for their excellent performance in computer vision, achieving results in the state of the art. However, recent work has shown that these networks can also work for natural language processing. In this case, the basic idea is to concatenate the vector representations of words into a single block and use it as an image. However, despite the good results, the problem of convolution networks is the large numbers of design decisions that need to be made. These models require the definition of many hyperparameters, including the type of word embeddings, which consists of the vector representation of the data, the activation function that introduces nonlinearity to the model, the size of the filter that applies convolution to the data, the number of feature maps which are responsible for identifying the attributes, the pooling method used in data reduction, in addition to the regularization constant and the dropout rate, which are responsible for avoiding overfitting of the network. In existing works, convolutional neural network architectures capable of overcoming the performance of traditional machine learning models were presented and these can compete with more complex models. However, it has not been explored how the different possibilities of hyperparameters can affect the performance of this type of network. In this dissertation, the objective is to create an efficient sentiment analysis classifier using convolutional neural networks by analyzing the impact of their hyperparameters on model performance. The interest in analyzing sentiment comes from the advent of social media and the technological advances that flood the Internetwith opinions. The results achieved were obtained with the use of GPU and show that the different configurations exceed the reference models in themajority of themwith gains of up to 18% and have similar performance to themodels in the state of the art with gains of up to 2% in some cases.As redes de neurais de convolução são conhecidas por seu ótimo desempenho em visão computacional, alcançando resultados no estado da arte. No entanto, trabalhos recentes mostraram que estas redes podem funcionar também para processamento de linguagem natural. Neste caso, a ideia básica consiste em concatenar as representações vetoriais das palavras em um único bloco e usá-lo como imagem. Contudo, apesar dos bons resultados, o problema de redes de convolução é o grande números de decisões de projeto que precisam ser tomadas. Estes modelos exigem a definição de muitos hiperparâmetros, incluindo o tipo word embeddings que consiste na representação vetorial dos dados, a função de ativação que introduz não-linearidade ao modelo, o tamanho do filtro que aplica convolução aos dados, o número demapas de características que são responsáveis por identificar os atributos, o método de pooling usado na condensação dos dados, além da constante de regularização e a taxa de dropout que são responsáveis por evitar o sobreajuste da rede. Em trabalhos existentes, foram apresentadas arquiteturas de redes neurais de convolução capazes de superar o desempenho de modelos tradicionais de aprendizado de máquinas, competindo com modelos mais complexos. Todavia, não foi explorado como as diferentes possibilidades de hiperparâmetros podem afetar o desempenho deste tipo de rede. Nesta dissertação, o objetivo consiste em criar um classificador de análise de sentimentos eficiente usando redes neurais de convolução por meio da análise do impacto de seus hiperparâmetros no desempenho do modelo. O interesse por análise de sentimentos vem do advento das mídias sociais e dos avanços tecnológicos que inundam a Internet com opiniões. Os resultados encontrados foram obtidos com o uso de GPU e mostram que as diferentes configurações superam os modelos de referência em sua grande maioria com ganhos de até 18% e possuem desempenho semelhante aos modelos no estado da arte com ganhos de até 2% em alguns casos.Submitted by Boris Flegr (boris@uerj.br) on 2021-01-06T19:19:30Z No. of bitstreams: 1 Igor Pedro Pinto dos Santos1.pdf: 2277358 bytes, checksum: d84995fda8938cd9c3cdaa1a572ae410 (MD5)Made available in DSpace on 2021-01-06T19:19:30Z (GMT). No. of bitstreams: 1 Igor Pedro Pinto dos Santos1.pdf: 2277358 bytes, checksum: d84995fda8938cd9c3cdaa1a572ae410 (MD5) Previous issue date: 2017-08-14Coordenação de Aperfeiçoamento de Pessoal de Nível Superiorapplication/pdfporUniversidade do Estado do Rio de JaneiroPrograma de Pós-Graduação em Engenharia EletrônicaUERJBRCentro de Tecnologia e Ciências::Faculdade de EngenhariaElectronic EngineeringEmotionsConvolutional Neural NetworkSentiment AnalysisHyperparametersNatural Language ProcessingEngenharia eletrônicaEmoçõesRede Neural de ConvoluçãoAnálise de SentimentoHiperparâmetrosProcessamento de Linguagem NaturalCNPQ::ENGENHARIASAnálise de sentimentos usando redes neurais de convoluçãoSentiment analysis using convolutional neural networksinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UERJinstname:Universidade do Estado do Rio de Janeiro (UERJ)instacron:UERJORIGINALIgor Pedro Pinto dos Santos1.pdfapplication/pdf2277358http://www.bdtd.uerj.br/bitstream/1/11853/1/Igor+Pedro+Pinto+dos+Santos1.pdfd84995fda8938cd9c3cdaa1a572ae410MD511/118532024-02-27 15:16:48.176oai:www.bdtd.uerj.br:1/11853Biblioteca Digital de Teses e Dissertaçõeshttp://www.bdtd.uerj.br/PUBhttps://www.bdtd.uerj.br:8443/oai/requestbdtd.suporte@uerj.bropendoar:29032024-02-27T18:16:48Biblioteca Digital de Teses e Dissertações da UERJ - Universidade do Estado do Rio de Janeiro (UERJ)false
dc.title.por.fl_str_mv Análise de sentimentos usando redes neurais de convolução
dc.title.alternative.eng.fl_str_mv Sentiment analysis using convolutional neural networks
title Análise de sentimentos usando redes neurais de convolução
spellingShingle Análise de sentimentos usando redes neurais de convolução
Santos, Igor Pedro Pinto dos
Electronic Engineering
Emotions
Convolutional Neural Network
Sentiment Analysis
Hyperparameters
Natural Language Processing
Engenharia eletrônica
Emoções
Rede Neural de Convolução
Análise de Sentimento
Hiperparâmetros
Processamento de Linguagem Natural
CNPQ::ENGENHARIAS
title_short Análise de sentimentos usando redes neurais de convolução
title_full Análise de sentimentos usando redes neurais de convolução
title_fullStr Análise de sentimentos usando redes neurais de convolução
title_full_unstemmed Análise de sentimentos usando redes neurais de convolução
title_sort Análise de sentimentos usando redes neurais de convolução
author Santos, Igor Pedro Pinto dos
author_facet Santos, Igor Pedro Pinto dos
author_role author
dc.contributor.advisor1.fl_str_mv Nedjah, Nadia
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/5417946704251656
dc.contributor.advisor-co1.fl_str_mv Mourelle, Luiza de Macedo
dc.contributor.advisor-co1Lattes.fl_str_mv http://lattes.cnpq.br/4189604454431782
dc.contributor.referee1.fl_str_mv Oliveira, Luiz Eduardo Soares de
dc.contributor.referee1Lattes.fl_str_mv http://lattes.cnpq.br/8607171759049558
dc.contributor.referee2.fl_str_mv Silva, Leila Weitzel Coelho da
dc.contributor.referee2Lattes.fl_str_mv http://lattes.cnpq.br/2768655384552211
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/8156636180528863
dc.contributor.author.fl_str_mv Santos, Igor Pedro Pinto dos
contributor_str_mv Nedjah, Nadia
Mourelle, Luiza de Macedo
Oliveira, Luiz Eduardo Soares de
Silva, Leila Weitzel Coelho da
dc.subject.eng.fl_str_mv Electronic Engineering
Emotions
Convolutional Neural Network
Sentiment Analysis
Hyperparameters
Natural Language Processing
topic Electronic Engineering
Emotions
Convolutional Neural Network
Sentiment Analysis
Hyperparameters
Natural Language Processing
Engenharia eletrônica
Emoções
Rede Neural de Convolução
Análise de Sentimento
Hiperparâmetros
Processamento de Linguagem Natural
CNPQ::ENGENHARIAS
dc.subject.por.fl_str_mv Engenharia eletrônica
Emoções
Rede Neural de Convolução
Análise de Sentimento
Hiperparâmetros
Processamento de Linguagem Natural
dc.subject.cnpq.fl_str_mv CNPQ::ENGENHARIAS
description Convolutional neural networks are known for their excellent performance in computer vision, achieving results in the state of the art. However, recent work has shown that these networks can also work for natural language processing. In this case, the basic idea is to concatenate the vector representations of words into a single block and use it as an image. However, despite the good results, the problem of convolution networks is the large numbers of design decisions that need to be made. These models require the definition of many hyperparameters, including the type of word embeddings, which consists of the vector representation of the data, the activation function that introduces nonlinearity to the model, the size of the filter that applies convolution to the data, the number of feature maps which are responsible for identifying the attributes, the pooling method used in data reduction, in addition to the regularization constant and the dropout rate, which are responsible for avoiding overfitting of the network. In existing works, convolutional neural network architectures capable of overcoming the performance of traditional machine learning models were presented and these can compete with more complex models. However, it has not been explored how the different possibilities of hyperparameters can affect the performance of this type of network. In this dissertation, the objective is to create an efficient sentiment analysis classifier using convolutional neural networks by analyzing the impact of their hyperparameters on model performance. The interest in analyzing sentiment comes from the advent of social media and the technological advances that flood the Internetwith opinions. The results achieved were obtained with the use of GPU and show that the different configurations exceed the reference models in themajority of themwith gains of up to 18% and have similar performance to themodels in the state of the art with gains of up to 2% in some cases.
publishDate 2017
dc.date.issued.fl_str_mv 2017-08-14
dc.date.available.fl_str_mv 2018-04-16
dc.date.accessioned.fl_str_mv 2021-01-06T19:19:30Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SANTOS, Igor Pedro Pinto dos. Análise de sentimentos usando redes neurais de convolução. 2017. 126 f. Dissertação (Mestrado em Redes de Telecomunicações; Sistemas Inteligentes e Automação) - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2017.
dc.identifier.uri.fl_str_mv http://www.bdtd.uerj.br/handle/1/11853
identifier_str_mv SANTOS, Igor Pedro Pinto dos. Análise de sentimentos usando redes neurais de convolução. 2017. 126 f. Dissertação (Mestrado em Redes de Telecomunicações; Sistemas Inteligentes e Automação) - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2017.
url http://www.bdtd.uerj.br/handle/1/11853
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade do Estado do Rio de Janeiro
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Engenharia Eletrônica
dc.publisher.initials.fl_str_mv UERJ
dc.publisher.country.fl_str_mv BR
dc.publisher.department.fl_str_mv Centro de Tecnologia e Ciências::Faculdade de Engenharia
publisher.none.fl_str_mv Universidade do Estado do Rio de Janeiro
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UERJ
instname:Universidade do Estado do Rio de Janeiro (UERJ)
instacron:UERJ
instname_str Universidade do Estado do Rio de Janeiro (UERJ)
instacron_str UERJ
institution UERJ
reponame_str Biblioteca Digital de Teses e Dissertações da UERJ
collection Biblioteca Digital de Teses e Dissertações da UERJ
bitstream.url.fl_str_mv http://www.bdtd.uerj.br/bitstream/1/11853/1/Igor+Pedro+Pinto+dos+Santos1.pdf
bitstream.checksum.fl_str_mv d84995fda8938cd9c3cdaa1a572ae410
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UERJ - Universidade do Estado do Rio de Janeiro (UERJ)
repository.mail.fl_str_mv bdtd.suporte@uerj.br
_version_ 1811728661466841088