Estudos sobre confiabilidade em exames de proficiência : o processo de atribuição de notas e a reavaliação na parte escrita do Celpe-Bras

• Main Author: Segat, Giovana Lazzaretti
• Publication Date: 2023
• Format: Master thesis
• Language: por
• Source: Biblioteca Digital de Teses e Dissertações da UFRGS
• Download full: http://hdl.handle.net/10183/264245
• topic: Celpe-Bras; Proficiência; Celpe-Bras exam; Writing exam; Inter-rater reliability

O Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras) é um exame de proficiência aplicado em larga escala que gera considerável impacto social para os atores envolvidos. Embora existam diversos estudos sobre o exame, a maioria das pesquisas emprega metodologias qualitativas. Considerando trabalhos anteriores (NEVES, 2018), entendemos, consoantes a Bachman (1990; 2004), que é necessário investigar a confiabilidade do exame também a partir de pesquisas quantitativas. Para tanto, esta pesquisa objetivou descrever o processo de avaliação da Parte Escrita do exame e apresentar e analisar os dados de 3 edições que compõem o corpus do estudo (2016.1, 2016.2 e 2017.1), discutindo a confiabilidade entre avaliadores – consenso e consistência (STEMLER, 2004) – e o impacto da reavaliação, importante instrumento para a confiabilidade, na certificação dos examinandos. Entendendo que este é um tema de interesse devido ao alto impacto gerado pelo Celpe-Bras (SCARAMUCCI, 2006) e que o processo de atribuição de notas é fundamental para a confiabilidade dos resultados de um exame de larga escala (NEVES, 2018; MCKAY; PLONSKY, 2021; YAN; FAN, 2022), propomos as seguintes análises: para a mensuração de consenso, usamos a porcentagem de concordância entre as notas atribuídas pelos avaliadores; para a mensuração de consistência entre avaliadores, utilizamos o coeficiente de correlação de Pearson; para o impacto da reavaliação na definição das notas finais da Parte Escrita e de proficiência, realizamos uma análise exploratória de nossos dados e fizemos testes-t pareados para comparar os conjuntos de dados. Além disso, comparamos os conjuntos de dados a fim de verificar se a reavaliação ocasiona mudança no nível de certificação do examinando. Os resultados da pesquisa mostraram que a confiabilidade entre avaliadores no exame é boa, apontando para um consenso entre 83%-88% das notas atribuídas pelos avaliadores em todas as edições estudadas, e uma variação de 0,71-0,85 para a consistência entre avaliadores nas tarefas do exame. Nossos resultados também apontaram para uma influência da reavaliação de textos discrepantes na definição do nível de certificação, com, pelo menos, 25% dos examinandos reavaliados tendo alteração de nível de certificação causada pela reavaliação de textos na Parte Escrita. Percebemos, ainda, que embora o número total de examinandos com alterações no nível de certificação ocasionadas pela reavaliação não seja constante entre as edições, a reavaliação possibilita, em todas as edições analisadas, uma melhora significativa na consistência entre avaliadores, o que contribui para aumentar a confiabilidade do exame. Com este estudo, esperamos contribuir para as discussões teóricas na área de avaliação de línguas e para o aprimoramento das práticas realizadas no Celpe-Bras, especialmente aquelas relacionadas à confiabilidade e à tomada de decisões com base nos resultados do exame.