Avaliação da Geração Automatizada de Narrações Esportivas com o Modelo de Linguagem LLaMA

• Autor(a) principal: Silva, Wendson Carlos Souza da
• Data de Publicação: 2023
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFPB
• Texto Completo: https://repositorio.ufpb.br/jspui/handle/123456789/31765
• topic: CNPQ::OUTROS; Inteligência artificial ganerativa; LLaMA; Narração esportiva; LLMs

Considerando a vasta quantidade de elementos midiáticos, dados desportivos e estatísticos de futebol, bem como das questões que envolvem a escassez de cobertura esportiva em eventos de menor abrangência, surge a necessidade de empregar estudos experimentais que se concentrem na automação da narração de partidas de futebol. Além disso, a imperativa demanda por aprimorar a acessibilidade cultural para indivíduos com deficiências, por meio da utilização de tecnologias emergentes, reforça a relevância deste domínio de pesquisa. Frente a isso, os Modelos de Linguagem de Larga Escala (LLMs) mostram-se relevantes por apresentarem resultados notáveis na geração de conteúdo. Dessa forma, pesquisa-se sobre o uso do Large Language Model Meta AI- LLaMA a fim compreender o desempenho desse sistema em conceber narrações desportivas a partir de eventos de jogos de futebol. Para tanto, é necessário conduzir experimentos, comparar e avaliar o sistema por parâmetros distintos, analisar a qualidade da narrativa em contexto de legibilidade textual e identificar padrões de comportamentos, falhas e virtudes do modelo. Procedeu se, então, uma pesquisa com metodologia exploratória, a qual se valeu das informações granulares, obtidas lance-a-lance, para estruturar as ocorrências em agrupamentos de eventos, sendo estes utilizados como comando de entrada para o LLaMA. As amostram também foram submetidas a estruturação em diferentes conjuntos buscando aferir a relevância da alteração dos parâmetros no modelo. Diante disso, verificou-se que o LLaMA apresentou resultados favoráveis relacionados a compreensão de leitura, principalmente no conjunto com parâmetros de temperatura de amostragem, top-k e top-p mais altos, contudo exibiram uma baixa taxa de acerto. O modelo também obteve resultados esperados no que diz respeito ao objetivo de possuir características relacionadas ao gênero narrativo que condiz com a personalidade de um comentarista esportivo. O incremento de informações, característico dos LLMs se mostrou como um fator preocupante e determinístico para avaliação dos erros no texto de saída. Essas informações evidenciam a capacidade do sistema em gerar narrações automatizadas de eventos esportivos, em bora revelem a presença de algumas limitações que demandam investigações adicionais e aprimoramentos por parte dos desenvolvedores.