Impacto de técnicas de pré-processamento de texto na detecção de intenção e extração de parâmetros em sistemas de diálogo orientados a tarefa

• Autor(a) principal: Ribeiro, Erick Rego
• Data de Publicação: 2020
• Outros Autores: http://lattes.cnpq.br/4770446035857361
• Tipo de documento: Dissertação
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações da UFAM
• Texto Completo: https://tede.ufam.edu.br/handle/tede/7933
• topic: Comércio eletrônico; Processamento de linguagem natural (Computação); Processamento de textos (Computação); Stopwords; Word Embeddings; CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO; Comércio eletrônico; Sistemas de diálogo; Processamento de linguagem natural; Detecção de intenção; Extração de parâmetros; Chatbot

Devido à popularidade da internet e ao baixo preço de dispositivos móveis, as pessoas mudaram a forma como interagem umas com as outras e com empresas. No passado, a internet impulsionou o crescimento do comércio eletrônico, inicialmente com pessoas fazendo compras por meio de computadores pessoais e mais recentemente utilizando dispositivos móveis, quando o comércio eletrônico passou a ser chamado também como comércio móvel. Nos últimos anos, ao lado do crescimento do comércio móvel, o número de usuários ativos em aplicativos de trocas de mensagens também cresceu. Em resposta a tal fenômeno, empresas de vários setores têm investido no atendimento a seus clientes por meio deste tipo de aplicativos, contudo, manter pessoal qualificado para atender os clientes pode gerar alto custo. Além do custo, o atendimento também pode ficar demorado em momentos de pico, gerando insatisfação por parte dos clientes. Neste cenário o desenvolvimento de sistemas de diálogo orientados a tarefa surge como uma alternativa para o atendimento à clientes, graças a sua capacidade de atender a um grande número de clientes de forma ininterrupta, com boa velocidade de resposta e baixo custo. A crescente demanda por esses sistemas e os desafios envolvidos em sua construção, nos motivou a estudar sobre esse tipo de sistema. Neste estudo aprendemos que existe uma fase no desenvolvimento chamada de compreensão de linguagem natural, cujo propósito é identificar a intenção do usuário a cada frase dita por ele, assim como parâmetros relacionados a essa intenção identificada. Este propósito pode ser alcançado por meio de duas tarefas, conhecidas como: detecção de intenção e extração de parâmetros. Por serem tarefas conhecidas na literatura de sistema de diálogos, e possuírem diversos trabalhos já publicados ao longo de anos, propomos nesta dissertação um estudo sobre o impacto do uso de técnicas de pré-processamento de texto aplicado em modelos utilizados nessas duas tarefas. Mais precisamente, escolhemos técnicas como stemmer, lematização, remoção de stopwords e uso de Word Embeddings para serem utilizados em nossos experimentos. Os experimentos foram realizados em 3 bases de dados de referência para o problema estudado, concluímos que nem todas as técnicas de pré-processamento escolhidas impactam de forma positiva quando aplicadas em trabalhos publicados na literatura. Diante das técnicas comparadas, apenas o stemmer resultou em ganho, um ganho de até 3% na revocação da tarefa de extração de parâmetros custando uma pequena perda de 0.9% na precisão da mesma tarefa. Já as técnicas de lematização, remoção de stopwords e Word Embeddings resultaram em perdas na revocação e precisão. Ao analisar os resultados negativos concluímos que a lematização confunde o modelo por apresentar diferentes lemas para uma mesma palavra, enquanto que a remoção de stopwords remove as preposições e artigos que são importantes para contextualizar e localizar os parâmetros a serem extraídos, no caso dos Word Embeddings a configuração dos trabalhos comparados não favoreceu o uso da técnica.