Análise de sentimentos usando redes neurais de convolução
Autor(a) principal: | |
---|---|
Data de Publicação: | 2017 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Biblioteca Digital de Teses e Dissertações da UERJ |
Texto Completo: | http://www.bdtd.uerj.br/handle/1/11853 |
Resumo: | Convolutional neural networks are known for their excellent performance in computer vision, achieving results in the state of the art. However, recent work has shown that these networks can also work for natural language processing. In this case, the basic idea is to concatenate the vector representations of words into a single block and use it as an image. However, despite the good results, the problem of convolution networks is the large numbers of design decisions that need to be made. These models require the definition of many hyperparameters, including the type of word embeddings, which consists of the vector representation of the data, the activation function that introduces nonlinearity to the model, the size of the filter that applies convolution to the data, the number of feature maps which are responsible for identifying the attributes, the pooling method used in data reduction, in addition to the regularization constant and the dropout rate, which are responsible for avoiding overfitting of the network. In existing works, convolutional neural network architectures capable of overcoming the performance of traditional machine learning models were presented and these can compete with more complex models. However, it has not been explored how the different possibilities of hyperparameters can affect the performance of this type of network. In this dissertation, the objective is to create an efficient sentiment analysis classifier using convolutional neural networks by analyzing the impact of their hyperparameters on model performance. The interest in analyzing sentiment comes from the advent of social media and the technological advances that flood the Internetwith opinions. The results achieved were obtained with the use of GPU and show that the different configurations exceed the reference models in themajority of themwith gains of up to 18% and have similar performance to themodels in the state of the art with gains of up to 2% in some cases. |
id |
UERJ_38243f4fa61e37efabe3cc3c348f5475 |
---|---|
oai_identifier_str |
oai:www.bdtd.uerj.br:1/11853 |
network_acronym_str |
UERJ |
network_name_str |
Biblioteca Digital de Teses e Dissertações da UERJ |
repository_id_str |
2903 |
spelling |
Nedjah, Nadiahttp://lattes.cnpq.br/5417946704251656Mourelle, Luiza de Macedohttp://lattes.cnpq.br/4189604454431782Oliveira, Luiz Eduardo Soares dehttp://lattes.cnpq.br/8607171759049558Silva, Leila Weitzel Coelho dahttp://lattes.cnpq.br/2768655384552211http://lattes.cnpq.br/8156636180528863Santos, Igor Pedro Pinto dos2021-01-06T19:19:30Z2018-04-162017-08-14SANTOS, Igor Pedro Pinto dos. Análise de sentimentos usando redes neurais de convolução. 2017. 126 f. Dissertação (Mestrado em Redes de Telecomunicações; Sistemas Inteligentes e Automação) - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2017.http://www.bdtd.uerj.br/handle/1/11853Convolutional neural networks are known for their excellent performance in computer vision, achieving results in the state of the art. However, recent work has shown that these networks can also work for natural language processing. In this case, the basic idea is to concatenate the vector representations of words into a single block and use it as an image. However, despite the good results, the problem of convolution networks is the large numbers of design decisions that need to be made. These models require the definition of many hyperparameters, including the type of word embeddings, which consists of the vector representation of the data, the activation function that introduces nonlinearity to the model, the size of the filter that applies convolution to the data, the number of feature maps which are responsible for identifying the attributes, the pooling method used in data reduction, in addition to the regularization constant and the dropout rate, which are responsible for avoiding overfitting of the network. In existing works, convolutional neural network architectures capable of overcoming the performance of traditional machine learning models were presented and these can compete with more complex models. However, it has not been explored how the different possibilities of hyperparameters can affect the performance of this type of network. In this dissertation, the objective is to create an efficient sentiment analysis classifier using convolutional neural networks by analyzing the impact of their hyperparameters on model performance. The interest in analyzing sentiment comes from the advent of social media and the technological advances that flood the Internetwith opinions. The results achieved were obtained with the use of GPU and show that the different configurations exceed the reference models in themajority of themwith gains of up to 18% and have similar performance to themodels in the state of the art with gains of up to 2% in some cases.As redes de neurais de convolução são conhecidas por seu ótimo desempenho em visão computacional, alcançando resultados no estado da arte. No entanto, trabalhos recentes mostraram que estas redes podem funcionar também para processamento de linguagem natural. Neste caso, a ideia básica consiste em concatenar as representações vetoriais das palavras em um único bloco e usá-lo como imagem. Contudo, apesar dos bons resultados, o problema de redes de convolução é o grande números de decisões de projeto que precisam ser tomadas. Estes modelos exigem a definição de muitos hiperparâmetros, incluindo o tipo word embeddings que consiste na representação vetorial dos dados, a função de ativação que introduz não-linearidade ao modelo, o tamanho do filtro que aplica convolução aos dados, o número demapas de características que são responsáveis por identificar os atributos, o método de pooling usado na condensação dos dados, além da constante de regularização e a taxa de dropout que são responsáveis por evitar o sobreajuste da rede. Em trabalhos existentes, foram apresentadas arquiteturas de redes neurais de convolução capazes de superar o desempenho de modelos tradicionais de aprendizado de máquinas, competindo com modelos mais complexos. Todavia, não foi explorado como as diferentes possibilidades de hiperparâmetros podem afetar o desempenho deste tipo de rede. Nesta dissertação, o objetivo consiste em criar um classificador de análise de sentimentos eficiente usando redes neurais de convolução por meio da análise do impacto de seus hiperparâmetros no desempenho do modelo. O interesse por análise de sentimentos vem do advento das mídias sociais e dos avanços tecnológicos que inundam a Internet com opiniões. Os resultados encontrados foram obtidos com o uso de GPU e mostram que as diferentes configurações superam os modelos de referência em sua grande maioria com ganhos de até 18% e possuem desempenho semelhante aos modelos no estado da arte com ganhos de até 2% em alguns casos.Submitted by Boris Flegr (boris@uerj.br) on 2021-01-06T19:19:30Z No. of bitstreams: 1 Igor Pedro Pinto dos Santos1.pdf: 2277358 bytes, checksum: d84995fda8938cd9c3cdaa1a572ae410 (MD5)Made available in DSpace on 2021-01-06T19:19:30Z (GMT). No. of bitstreams: 1 Igor Pedro Pinto dos Santos1.pdf: 2277358 bytes, checksum: d84995fda8938cd9c3cdaa1a572ae410 (MD5) Previous issue date: 2017-08-14Coordenação de Aperfeiçoamento de Pessoal de Nível Superiorapplication/pdfporUniversidade do Estado do Rio de JaneiroPrograma de Pós-Graduação em Engenharia EletrônicaUERJBRCentro de Tecnologia e Ciências::Faculdade de EngenhariaElectronic EngineeringEmotionsConvolutional Neural NetworkSentiment AnalysisHyperparametersNatural Language ProcessingEngenharia eletrônicaEmoçõesRede Neural de ConvoluçãoAnálise de SentimentoHiperparâmetrosProcessamento de Linguagem NaturalCNPQ::ENGENHARIASAnálise de sentimentos usando redes neurais de convoluçãoSentiment analysis using convolutional neural networksinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UERJinstname:Universidade do Estado do Rio de Janeiro (UERJ)instacron:UERJORIGINALIgor Pedro Pinto dos Santos1.pdfapplication/pdf2277358http://www.bdtd.uerj.br/bitstream/1/11853/1/Igor+Pedro+Pinto+dos+Santos1.pdfd84995fda8938cd9c3cdaa1a572ae410MD511/118532024-02-27 15:16:48.176oai:www.bdtd.uerj.br:1/11853Biblioteca Digital de Teses e Dissertaçõeshttp://www.bdtd.uerj.br/PUBhttps://www.bdtd.uerj.br:8443/oai/requestbdtd.suporte@uerj.bropendoar:29032024-02-27T18:16:48Biblioteca Digital de Teses e Dissertações da UERJ - Universidade do Estado do Rio de Janeiro (UERJ)false |
dc.title.por.fl_str_mv |
Análise de sentimentos usando redes neurais de convolução |
dc.title.alternative.eng.fl_str_mv |
Sentiment analysis using convolutional neural networks |
title |
Análise de sentimentos usando redes neurais de convolução |
spellingShingle |
Análise de sentimentos usando redes neurais de convolução Santos, Igor Pedro Pinto dos Electronic Engineering Emotions Convolutional Neural Network Sentiment Analysis Hyperparameters Natural Language Processing Engenharia eletrônica Emoções Rede Neural de Convolução Análise de Sentimento Hiperparâmetros Processamento de Linguagem Natural CNPQ::ENGENHARIAS |
title_short |
Análise de sentimentos usando redes neurais de convolução |
title_full |
Análise de sentimentos usando redes neurais de convolução |
title_fullStr |
Análise de sentimentos usando redes neurais de convolução |
title_full_unstemmed |
Análise de sentimentos usando redes neurais de convolução |
title_sort |
Análise de sentimentos usando redes neurais de convolução |
author |
Santos, Igor Pedro Pinto dos |
author_facet |
Santos, Igor Pedro Pinto dos |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Nedjah, Nadia |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/5417946704251656 |
dc.contributor.advisor-co1.fl_str_mv |
Mourelle, Luiza de Macedo |
dc.contributor.advisor-co1Lattes.fl_str_mv |
http://lattes.cnpq.br/4189604454431782 |
dc.contributor.referee1.fl_str_mv |
Oliveira, Luiz Eduardo Soares de |
dc.contributor.referee1Lattes.fl_str_mv |
http://lattes.cnpq.br/8607171759049558 |
dc.contributor.referee2.fl_str_mv |
Silva, Leila Weitzel Coelho da |
dc.contributor.referee2Lattes.fl_str_mv |
http://lattes.cnpq.br/2768655384552211 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/8156636180528863 |
dc.contributor.author.fl_str_mv |
Santos, Igor Pedro Pinto dos |
contributor_str_mv |
Nedjah, Nadia Mourelle, Luiza de Macedo Oliveira, Luiz Eduardo Soares de Silva, Leila Weitzel Coelho da |
dc.subject.eng.fl_str_mv |
Electronic Engineering Emotions Convolutional Neural Network Sentiment Analysis Hyperparameters Natural Language Processing |
topic |
Electronic Engineering Emotions Convolutional Neural Network Sentiment Analysis Hyperparameters Natural Language Processing Engenharia eletrônica Emoções Rede Neural de Convolução Análise de Sentimento Hiperparâmetros Processamento de Linguagem Natural CNPQ::ENGENHARIAS |
dc.subject.por.fl_str_mv |
Engenharia eletrônica Emoções Rede Neural de Convolução Análise de Sentimento Hiperparâmetros Processamento de Linguagem Natural |
dc.subject.cnpq.fl_str_mv |
CNPQ::ENGENHARIAS |
description |
Convolutional neural networks are known for their excellent performance in computer vision, achieving results in the state of the art. However, recent work has shown that these networks can also work for natural language processing. In this case, the basic idea is to concatenate the vector representations of words into a single block and use it as an image. However, despite the good results, the problem of convolution networks is the large numbers of design decisions that need to be made. These models require the definition of many hyperparameters, including the type of word embeddings, which consists of the vector representation of the data, the activation function that introduces nonlinearity to the model, the size of the filter that applies convolution to the data, the number of feature maps which are responsible for identifying the attributes, the pooling method used in data reduction, in addition to the regularization constant and the dropout rate, which are responsible for avoiding overfitting of the network. In existing works, convolutional neural network architectures capable of overcoming the performance of traditional machine learning models were presented and these can compete with more complex models. However, it has not been explored how the different possibilities of hyperparameters can affect the performance of this type of network. In this dissertation, the objective is to create an efficient sentiment analysis classifier using convolutional neural networks by analyzing the impact of their hyperparameters on model performance. The interest in analyzing sentiment comes from the advent of social media and the technological advances that flood the Internetwith opinions. The results achieved were obtained with the use of GPU and show that the different configurations exceed the reference models in themajority of themwith gains of up to 18% and have similar performance to themodels in the state of the art with gains of up to 2% in some cases. |
publishDate |
2017 |
dc.date.issued.fl_str_mv |
2017-08-14 |
dc.date.available.fl_str_mv |
2018-04-16 |
dc.date.accessioned.fl_str_mv |
2021-01-06T19:19:30Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
SANTOS, Igor Pedro Pinto dos. Análise de sentimentos usando redes neurais de convolução. 2017. 126 f. Dissertação (Mestrado em Redes de Telecomunicações; Sistemas Inteligentes e Automação) - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2017. |
dc.identifier.uri.fl_str_mv |
http://www.bdtd.uerj.br/handle/1/11853 |
identifier_str_mv |
SANTOS, Igor Pedro Pinto dos. Análise de sentimentos usando redes neurais de convolução. 2017. 126 f. Dissertação (Mestrado em Redes de Telecomunicações; Sistemas Inteligentes e Automação) - Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2017. |
url |
http://www.bdtd.uerj.br/handle/1/11853 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade do Estado do Rio de Janeiro |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Engenharia Eletrônica |
dc.publisher.initials.fl_str_mv |
UERJ |
dc.publisher.country.fl_str_mv |
BR |
dc.publisher.department.fl_str_mv |
Centro de Tecnologia e Ciências::Faculdade de Engenharia |
publisher.none.fl_str_mv |
Universidade do Estado do Rio de Janeiro |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UERJ instname:Universidade do Estado do Rio de Janeiro (UERJ) instacron:UERJ |
instname_str |
Universidade do Estado do Rio de Janeiro (UERJ) |
instacron_str |
UERJ |
institution |
UERJ |
reponame_str |
Biblioteca Digital de Teses e Dissertações da UERJ |
collection |
Biblioteca Digital de Teses e Dissertações da UERJ |
bitstream.url.fl_str_mv |
http://www.bdtd.uerj.br/bitstream/1/11853/1/Igor+Pedro+Pinto+dos+Santos1.pdf |
bitstream.checksum.fl_str_mv |
d84995fda8938cd9c3cdaa1a572ae410 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UERJ - Universidade do Estado do Rio de Janeiro (UERJ) |
repository.mail.fl_str_mv |
bdtd.suporte@uerj.br |
_version_ |
1811728661466841088 |