Sentiment Analysis in the Context of Dialogue

Detalhes bibliográficos
Autor(a) principal: Carvalho, Isabel Maria Rocha Correia de
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/102175
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_1d324e7150b8e3fd3f1b543bac13ae9e
oai_identifier_str oai:estudogeral.uc.pt:10316/102175
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Sentiment Analysis in the Context of DialogueAnálise de Sentimentos em Contexto de DiálogoProcessamento de Linguagem NaturalAnálise de DiálogoAnálise de SentimentosClassificação de TextoMineração de dadosNatural Language ProcessingDialogue AnalysisSentiment AnalysisText classificationData miningDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaA Análise de Sentimento em diálogo visa detectar o sentimento expresso em frases e, da forma em que foi aplicada neste trabalho, tem o potencial de melhorar a interação humano-computador em linguagem natural. Nesta dissertação, exploramos diferentes abordagens para Análise de Sentimento em diálogos escritos em Português, principalmente no domínio das Telecomunicações. Se integrado num agente conversacional, isto permitirá a identificação automática e uma reação rápida a clientes que manifestam sentimento negativo, possivelmente com intervenção humana, podendo assim minimizar os danos. Foram criados dois datasets de dados reais, com sentimento manualmente anotado: um com diálogos de call center, cedido pela Altice Labs (AL); outro a partir de conversas extraídas do Twitter, envolvendo principalmente contas de empresas de Telecomunicações. Comparamos o desempenho de diferentes abordagens com complexidades variáveis, desde modelos baseados em léxico, passando por classificadores mais tradicionais (e.g., Random Forest, Regressão Logística), até modelos mais recentes (e.g., Fine-tuned Bidirectional EncoderRepresentations from Transformers (BERT), Few-Shot Learning). Como um diálogo é uma sequência de falas, as frases anteriores podem ter impacto no sentimento da frase atual. Assim sendo, também desenvolvemos modelos que consideram contexto (e.g., BERT-Confitional Random Field (BERT-CRF)). Cada modelo de aprendizagem computacional, com a excepção do último grupo, é analisado com e sem a inclusão de falas anteriores. Ao classificar os datasets, o melhor modelo (Fine-tuned BERT) atingiu F1-Scores de 0,87 e 0,93 nos datasets da Altice Labs e do Twitter, respetivamente. O desempenho do primeiro foi alcançado sem considerar contexto, enquanto o do segundo foi alcançado considerando contexto (inclusão das falas anteriores). No entanto, na maioria dos cenários, a utilização de contexto parece diminuir o desempenho dos classificadores, significando que, para esta aplicação, a utilização da fala atual pode ser suficiente. Estes são resultados interessantes que sugerem que um apoio ao cliente automático pode beneficiar de um componente de análise de sentimento. A abordagem desenvolvida será disponibilizada à AL, que poderá considerar a sua integração no seu sistema de assistência ao cliente.Sentiment Analysis (SA) in dialogue aims at detecting the sentiment expressed in utterances, which, as applied in this work, may improve human-computer interaction in natural language. In this dissertation, we explore different approaches for SA in written Portuguese dialogues, mainly in the domain of Telecommunications. If integrated into a conversational agent, this will enable the automatic identification and a quick reaction upon customers manifesting negative sentiments, possibly with human intervention, hopefully minimising the damage. We created two datasets of real data, with manually annotated sentiment: one with dialogues from a call center, provided by Altice Labs (AL); another of Twitter conversations primarily involving the accounts of Telecommunications companies. We compare the performance of different approaches with varying complexities, from lexicon-based models, to shallow learning classifiers (e.g., Random Forest, Logistic Regression) as well as more recent deep learning approaches (e.g., Fine-tuned Bidirectional EncoderRepresentations from Transformers (BERT), Few-Shot Learning). Since a dialogue is a sequence of utterances, the previous sentences may impact the sentiment of the current sentence. Hence, we also developed models that consider the context (e.g., BERT-Conditional Random Field (BERT-CRF)). Every Machine-Learning model, except the latter group, is analyzed with and without considering the previous utterances. When classifying the utterances, the best model (Fine-tuned BERT) achieved F1-Scores of 0.87 and 0.93 in the AL and Twitter datasets, respectively. The performance of the former was achieved without considering context, and the latter was achieved while considering it (by concatenating the current and previous utterances). However, in most scenarios, the context seems to decrease the performance of the classifiers, meaning that, in this application, the current utterance can be enough. These are interesting results and suggest that automated customer support may benefit from a sentiment detection feature. The developed approach will be made available for the consideration of AL, for integration into their customer assistance system.Outro - This work was funded by the project POWER (grant number POCI-01-0247-FEDER-070365), co-financed by the European Regional Development Fund (FEDER), through Portugal 2020 (PT2020), and by the Competitiveness and Internationalization Operational Programme (COMPETE 2020).2022-09-08info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/102175http://hdl.handle.net/10316/102175TID:203062280engCarvalho, Isabel Maria Rocha Correia deinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-09-29T01:35:15Zoai:estudogeral.uc.pt:10316/102175Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:19:13.544992Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Sentiment Analysis in the Context of Dialogue
Análise de Sentimentos em Contexto de Diálogo
title Sentiment Analysis in the Context of Dialogue
spellingShingle Sentiment Analysis in the Context of Dialogue
Carvalho, Isabel Maria Rocha Correia de
Processamento de Linguagem Natural
Análise de Diálogo
Análise de Sentimentos
Classificação de Texto
Mineração de dados
Natural Language Processing
Dialogue Analysis
Sentiment Analysis
Text classification
Data mining
title_short Sentiment Analysis in the Context of Dialogue
title_full Sentiment Analysis in the Context of Dialogue
title_fullStr Sentiment Analysis in the Context of Dialogue
title_full_unstemmed Sentiment Analysis in the Context of Dialogue
title_sort Sentiment Analysis in the Context of Dialogue
author Carvalho, Isabel Maria Rocha Correia de
author_facet Carvalho, Isabel Maria Rocha Correia de
author_role author
dc.contributor.author.fl_str_mv Carvalho, Isabel Maria Rocha Correia de
dc.subject.por.fl_str_mv Processamento de Linguagem Natural
Análise de Diálogo
Análise de Sentimentos
Classificação de Texto
Mineração de dados
Natural Language Processing
Dialogue Analysis
Sentiment Analysis
Text classification
Data mining
topic Processamento de Linguagem Natural
Análise de Diálogo
Análise de Sentimentos
Classificação de Texto
Mineração de dados
Natural Language Processing
Dialogue Analysis
Sentiment Analysis
Text classification
Data mining
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2022
dc.date.none.fl_str_mv 2022-09-08
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/102175
http://hdl.handle.net/10316/102175
TID:203062280
url http://hdl.handle.net/10316/102175
identifier_str_mv TID:203062280
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134086371999744

Registros relacionados