Processamento de linguagem natural: uma abordagem através do Word2Vec

• Autor(a) principal: Silva, Leonardo Neves da
• Data de Publicação: 2024
• Outros Autores: Ramos Júnior, Sidney Ribeiro
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRJ
• Texto Completo: http://hdl.handle.net/11422/23621
• topic: Word2Vec; Processamento de linguagem natural; Natural language processing; Wikipedia; Clueweb; CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO

Este trabalho investiga o Processamento de Linguagem Natural (PLN) utilizando diversas técnicas e ferramentas, com ênfase na aplicação Word2Vec. O PLN é uma área de estudo essencial para a interação entre computadores e linguagens humanas, sendo crucial para aplicações como tradução automática, análise de sentimentos e assistentes virtuais. Além do Word2Vec, o estudo explora diversas ferramentas e técnicas utilizadas para processar e analisar grandes bases de dados textuais. Entre os principais corpus, estão a Wikipedia e o ClueWeb. O estudo também implementa e avalia métodos de limpeza de dados e normalização de texto, abordando questões como a remoção de acentuação e a correção de erros ortográficos. Esses processos são essenciais para preparar o texto bruto para a análise subsequente, garantindo que os modelos possam operar com maior eficiência. O trabalho testa algumas soluções para a análise de similaridade semântica entre palavras e avaliação de contextos linguísticos. Os resultados demonstram se técnicas aplicadas são eficazes para melhorar a compreensão e o processamento automático da linguagem natural. Apesar do NELL ter sido a principal inspiração para o início do desenvolvimento, a proposta central é validar o uso dessas ferramentas no contexto da língua portuguesa, mostrando sua aplicabilidade e eficácia em diversas tarefas de PLN.