Applying BERT language model to poem classification : a study on data imbalance issues

• Autor(a) principal: Ceccon, Tiago Silveira
• Data de Publicação: 2023
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: eng
• Título da fonte: Repositório Institucional da UFRGS
• Texto Completo: http://hdl.handle.net/10183/259959
• topic: Inteligência artificial; Aprendizado de máquina; Aprendizado profundo; NLP; Large Language Models; BERT; Poetry

Arte, e em específico poesia, sempre foi um recurso muito valioso para a compreensão da identidade e visão de mundo de uma sociedade. Recentemente, com o crescimento da revolução de big data, grandes conjuntos de dados dos mais variados assuntos estão começando a aparecer. Também estamos presenciando uma nova onda de sistemas de In teligência Artificial muito poderosos baseados em aprendizado profundo, em especial na área de Processamento de Linguagem Natural. É razoável, então, explorar o quão adequa dos são esses sistemas para processar dados dentro do campo da poesia, já que podemos ganhar tanto entendimento sobre as culturas humanas através deles. Nesse trabalho apli camos o modelo pré-treinado de linguagem BERT a um dataset de poemas do mundo real, de modo a criar classificadores para reconhecer com quais tópicos os poemas lidam. Listamos alguns dos problemas que apareceram durante esse processo e experimentamos com estratégias possíveis para mitigar um deles, a saber o desbalanceamento de classes. Descobrimos que é possível melhorar os resultados iniciais ao aplicar duas das estratégias propostas, sendo estas undersampling da classe majoritária e o uso de diferentes pesos para cada classe escalando a função de perda.