Avaliação de grandes modelos de linguagem quantizados na resolução de questões do ENEM.

• Autor(a) principal: SANTOS, Matheus Lisboa Oliveira dos.
• Data de Publicação: 2023
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Biblioteca Digital de Teses e Dissertações da UFCG
• Texto Completo: http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/33359
• topic: Grande modelos de linguagem; LLMs; ENEM; LLaMA - modelo de linguagem; Quantização; Questões do ENEM; Great language models; AND EITHER; LLaMA - language model; Quantization; ENEM questions; Ciência da Computação.

Embora os grandes modelos de linguagem (LLMs) representem uma revolução na forma como interagimos com computadores, permitindo a construção de perguntas complexas e a capacidade de raciocinar sobre uma sequência de declarações, seu uso é restrito devido à necessidade de hardware dedicado para a execução. Neste estudo, avaliamos o desempenho de LLMs baseados nos modelos LLaMA de 7 e 13 bilhões, submetidos a um processo de quantização e executados em hardware doméstico. Os modelos considerados foram alpaca, koala e vicuna. Para avaliar a eficácia desses modelos, desenvolvemos um banco de dados contendo 1006 perguntas do ENEM (Exame Nacional do Ensino Médio). Nossa análise revelou que o modelo de melhor desempenho alcançou uma acurácia de aproximadamente 40% tanto para os textos originais das perguntas em português quanto para suas traduções em inglês. Além disso, avaliamos a eficiência computacional dos modelos medindo o tempo necessário para a execução. Em média, os LLMs de 7 e 13 bilhões levaram aproximadamente 20 e 50 segundos, respectivamente, para processar as consultas em uma máquina equipada com um processador AMD Ryzen 5 3600x.