Transferência de aprendizado na classificação de comentários tóxicos em português

• Autor(a) principal: Nakao, Arthur de Lima
• Data de Publicação: 2022
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da Universidade Federal Fluminense (RIUFF)
• Texto Completo: http://app.uff.br/riuff/handle/1/26659
• topic: Inteligência Artificial; Aprendizado de Máquina; Redes Neurais; Zero-Shot; Fine-Tuning; Comentário Tóxico; Inteligência Artificial; Aprendizado de máquina; Rede neural; Zero-Shot; Fine-Tuning; Comentário Tóxico; Artificial Intelligence; Machine Learning; Neural Network; Toxic Comment; Artificial Intelligence; Machine Learning; Neural Network; Toxic Comment

O avanço de comentários tóxicos nas redes sociais é um problema grave que pode causar diversos transtornos psicológicos nos alvos desses comentários. Para impedir esse tipo de comentário, as redes sociais poderiam utilizar algoritmos de aprendizado de máquina a fim de detectar essa toxicidade e não deixar que ela se espalhe. Grandes bases de dados anotadas para esse tipo de tarefa em inglês estão disponíveis, o que torna muito mais fácil o treinamento de modelos capazes de realizar a classificação de comentários ofensivos neste idioma. Por outro lado, torna-se mais desafiador realizar o treinamento de classificadores capazes de detectar comentários tóxicos em idiomas como o português, que possui poucas bases de dados previamente anotadas para esta tarefa em comparação com o inglês. Pensando nisso, o presente trabalho compara classificadores para detecção de comentário tóxico em Português que utilizam formas distintas de vetorização para representar textos: bag of words, embeddings estáticos e embeddings contextualizados. Também são realizadas comparações usando modelos pré-treinados em português, espanhol e um modelo multilíngue. A partir dessas comparações, foi possível constatar que a classificação de comentários em português como tóxico ou não tóxico utilizando modelos pré-treinados em línguas diferentes do português não é uma boa solução para resolver o problema. Foi possível perceber, também, que a utilização desses modelos sem um ajuste nos pesos da rede para a tarefa que estiver sendo classificada não retorna bons resultados. Além disso, foi possível verificar que a utilização de modelos pré-treinados sem qualquer tipo de ajuste específico para a tarefa em questão não traz bons resultados e que é preferível o uso de embeddings contextualizados em relação aos estáticos. Conclui-se que não foi possível chegar a resultados excelentes que resolvam o problema da falta de bases de dados anotadas para a classificação de comentários tóxicos em português, mas verificou-se que modelos pré-treinados retornam melhores resultados quando passam pelo processo de fine-tuning.