A study about the influence of text specificity in the perceived helpfulness classification of online reviews

• Autor(a) principal: Lima, Beatriz Santana Fagundes Souza de
• Data de Publicação: 2021
• Tipo de documento: Dissertação
• Idioma: eng
• Título da fonte: Repositório Institucional da UFBA
• Texto Completo: https://repositorio.ufba.br/handle/ri/34851
• topic: CNPQ::CIENCIAS EXATAS E DA TERRA; CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE; Helpfulness prediction; Text specificity; Online reviews; Text classification; Feature engineering; Multitask learning; Opinion mining; Natural language processing; Previsão de utilidade; Especificidade do texto; Avaliações on-line; Classificação de texto; Engenharia de recursos; Aprendizagem multitarefa; Mineração de opinião; Processamento de linguagem natural; Mineração de dados (Computação)

Avaliações online são fontes de informação valiosas para auxiliar no processo de tomada de decisão, tanto para indivíduos quanto para empresas. No entanto, o grande volume de avaliações que têm baixa qualidade prejudica o processo de obter informações úteis dessas avaliações. Diversos websites de venda online oferecem um sistema de votação para permitir que consumidores classifiquem avaliações sobre produtos como úteis ou não-úteis. Contudo, esses votos costumam ser tendenciosos e a maioria das avaliações não recebe um voto sequer. Além disso, vários websites nem possuem esse mecanismo de votação ou qualquer outra funcionalidade para organizar as avaliações com base na sua utilidade. Portanto, classificar avaliações de acordo com sua utilidade é uma tarefa primordial para facilitar o acesso a um conteúdo verdadeiramente informativo. Nesse contexto, estudos anteriores desvendaram vários atributos e arquiteturas que são benéficos para a tarefa de predição da utilidade percebida. Neste trabalho, nós argumentamos que a especificidade textual, definida como o nível de detalhes expresso em um texto, pode influenciar a percepção da utilidade de avaliações e, consequentemente, pode ser também um novo aspecto linguístico relevante para modelar a predição da utilidade. Nós elaboramos duas abordagens para incorporar a especificidade nos modelos de classificação de utilidade: i) como atributos baseados na especificidade textual e ii) usando a predição da especificidade de avaliações como uma tarefa auxiliar em um modelo de Aprendizado Multitarefa (MTL). Primeiro, nós conduzimos experimentos com uma abordagem de adaptação de domínio não-supervisionada [Ko, Durrett and Li 2019] para rotular automaticamente o grau de especificidade em frases de avaliações online. Para avaliar os diferentes modelos treinados usando essa abordagem, nós propusemos uma medida chamada Specificity Prediction Evaluation (SPE), que é baseada na suposição que, em média, frases específicas tendem a ser mais longas que frases genéricas [Li and Nenkova 2015]. Para as 18 coleções de avaliações online usadas em todos os nossos experimentos, nós alcançamos predições de especificidade mais confiáveis, de acordo com o SPE, variando apenas o tamanho do conjunto de treinamento e o número de épocas de treinamento. Por fim, nós realizamos experimentos para avaliar a performance dos modelos de classificação de utilidade usando duas arquiteturas neurais: Convolutional Neural Network (CNN) [Kim 2014] e Bidirectional Encoder Representations from Transformers (BERT) [Devlin et al. 2019]. Em resumo, utilizando conjuntos de dados balanceados, os modelos CNN de classificação de utilidade percebida, incorporados com a especificidade textual - seja como atributos ou MTL - mostraram resultados de precisão significativamente maiores em comparação com um conhecido baseline usando SVM. Com o BERT, os experimentos mostraram que o MTL teve uma performance superior aos modelos Single-task Learning (STL) para a maioria dos 18 conjuntos de dados e tanto acurácia quanto precisão foram superiores em comparação com o SVM.