Sentiment Analysis in the Context of Dialogue
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Dissertação |
Idioma: | eng |
Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
Texto Completo: | http://hdl.handle.net/10316/102175 |
Resumo: | Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia |
id |
RCAP_1d324e7150b8e3fd3f1b543bac13ae9e |
---|---|
oai_identifier_str |
oai:estudogeral.uc.pt:10316/102175 |
network_acronym_str |
RCAP |
network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository_id_str |
7160 |
spelling |
Sentiment Analysis in the Context of DialogueAnálise de Sentimentos em Contexto de DiálogoProcessamento de Linguagem NaturalAnálise de DiálogoAnálise de SentimentosClassificação de TextoMineração de dadosNatural Language ProcessingDialogue AnalysisSentiment AnalysisText classificationData miningDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaA Análise de Sentimento em diálogo visa detectar o sentimento expresso em frases e, da forma em que foi aplicada neste trabalho, tem o potencial de melhorar a interação humano-computador em linguagem natural. Nesta dissertação, exploramos diferentes abordagens para Análise de Sentimento em diálogos escritos em Português, principalmente no domínio das Telecomunicações. Se integrado num agente conversacional, isto permitirá a identificação automática e uma reação rápida a clientes que manifestam sentimento negativo, possivelmente com intervenção humana, podendo assim minimizar os danos. Foram criados dois datasets de dados reais, com sentimento manualmente anotado: um com diálogos de call center, cedido pela Altice Labs (AL); outro a partir de conversas extraídas do Twitter, envolvendo principalmente contas de empresas de Telecomunicações. Comparamos o desempenho de diferentes abordagens com complexidades variáveis, desde modelos baseados em léxico, passando por classificadores mais tradicionais (e.g., Random Forest, Regressão Logística), até modelos mais recentes (e.g., Fine-tuned Bidirectional EncoderRepresentations from Transformers (BERT), Few-Shot Learning). Como um diálogo é uma sequência de falas, as frases anteriores podem ter impacto no sentimento da frase atual. Assim sendo, também desenvolvemos modelos que consideram contexto (e.g., BERT-Confitional Random Field (BERT-CRF)). Cada modelo de aprendizagem computacional, com a excepção do último grupo, é analisado com e sem a inclusão de falas anteriores. Ao classificar os datasets, o melhor modelo (Fine-tuned BERT) atingiu F1-Scores de 0,87 e 0,93 nos datasets da Altice Labs e do Twitter, respetivamente. O desempenho do primeiro foi alcançado sem considerar contexto, enquanto o do segundo foi alcançado considerando contexto (inclusão das falas anteriores). No entanto, na maioria dos cenários, a utilização de contexto parece diminuir o desempenho dos classificadores, significando que, para esta aplicação, a utilização da fala atual pode ser suficiente. Estes são resultados interessantes que sugerem que um apoio ao cliente automático pode beneficiar de um componente de análise de sentimento. A abordagem desenvolvida será disponibilizada à AL, que poderá considerar a sua integração no seu sistema de assistência ao cliente.Sentiment Analysis (SA) in dialogue aims at detecting the sentiment expressed in utterances, which, as applied in this work, may improve human-computer interaction in natural language. In this dissertation, we explore different approaches for SA in written Portuguese dialogues, mainly in the domain of Telecommunications. If integrated into a conversational agent, this will enable the automatic identification and a quick reaction upon customers manifesting negative sentiments, possibly with human intervention, hopefully minimising the damage. We created two datasets of real data, with manually annotated sentiment: one with dialogues from a call center, provided by Altice Labs (AL); another of Twitter conversations primarily involving the accounts of Telecommunications companies. We compare the performance of different approaches with varying complexities, from lexicon-based models, to shallow learning classifiers (e.g., Random Forest, Logistic Regression) as well as more recent deep learning approaches (e.g., Fine-tuned Bidirectional EncoderRepresentations from Transformers (BERT), Few-Shot Learning). Since a dialogue is a sequence of utterances, the previous sentences may impact the sentiment of the current sentence. Hence, we also developed models that consider the context (e.g., BERT-Conditional Random Field (BERT-CRF)). Every Machine-Learning model, except the latter group, is analyzed with and without considering the previous utterances. When classifying the utterances, the best model (Fine-tuned BERT) achieved F1-Scores of 0.87 and 0.93 in the AL and Twitter datasets, respectively. The performance of the former was achieved without considering context, and the latter was achieved while considering it (by concatenating the current and previous utterances). However, in most scenarios, the context seems to decrease the performance of the classifiers, meaning that, in this application, the current utterance can be enough. These are interesting results and suggest that automated customer support may benefit from a sentiment detection feature. The developed approach will be made available for the consideration of AL, for integration into their customer assistance system.Outro - This work was funded by the project POWER (grant number POCI-01-0247-FEDER-070365), co-financed by the European Regional Development Fund (FEDER), through Portugal 2020 (PT2020), and by the Competitiveness and Internationalization Operational Programme (COMPETE 2020).2022-09-08info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/102175http://hdl.handle.net/10316/102175TID:203062280engCarvalho, Isabel Maria Rocha Correia deinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-09-29T01:35:15Zoai:estudogeral.uc.pt:10316/102175Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:19:13.544992Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
dc.title.none.fl_str_mv |
Sentiment Analysis in the Context of Dialogue Análise de Sentimentos em Contexto de Diálogo |
title |
Sentiment Analysis in the Context of Dialogue |
spellingShingle |
Sentiment Analysis in the Context of Dialogue Carvalho, Isabel Maria Rocha Correia de Processamento de Linguagem Natural Análise de Diálogo Análise de Sentimentos Classificação de Texto Mineração de dados Natural Language Processing Dialogue Analysis Sentiment Analysis Text classification Data mining |
title_short |
Sentiment Analysis in the Context of Dialogue |
title_full |
Sentiment Analysis in the Context of Dialogue |
title_fullStr |
Sentiment Analysis in the Context of Dialogue |
title_full_unstemmed |
Sentiment Analysis in the Context of Dialogue |
title_sort |
Sentiment Analysis in the Context of Dialogue |
author |
Carvalho, Isabel Maria Rocha Correia de |
author_facet |
Carvalho, Isabel Maria Rocha Correia de |
author_role |
author |
dc.contributor.author.fl_str_mv |
Carvalho, Isabel Maria Rocha Correia de |
dc.subject.por.fl_str_mv |
Processamento de Linguagem Natural Análise de Diálogo Análise de Sentimentos Classificação de Texto Mineração de dados Natural Language Processing Dialogue Analysis Sentiment Analysis Text classification Data mining |
topic |
Processamento de Linguagem Natural Análise de Diálogo Análise de Sentimentos Classificação de Texto Mineração de dados Natural Language Processing Dialogue Analysis Sentiment Analysis Text classification Data mining |
description |
Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia |
publishDate |
2022 |
dc.date.none.fl_str_mv |
2022-09-08 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10316/102175 http://hdl.handle.net/10316/102175 TID:203062280 |
url |
http://hdl.handle.net/10316/102175 |
identifier_str_mv |
TID:203062280 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
instacron_str |
RCAAP |
institution |
RCAAP |
reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
repository.mail.fl_str_mv |
|
_version_ |
1799134086371999744 |