A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language

Detalhes bibliográficos
Autor(a) principal: Ferreira, Laura Márcia Luiza
Data de Publicação: 2019
Tipo de documento: Artigo
Idioma: eng
por
Título da fonte: Educação e Pesquisa
Texto Completo: https://www.revistas.usp.br/ep/article/view/162679
Resumo: Por meio das escalas de avaliação do Celpe-Bras, um construto de proficiência oral em língua portuguesa para falantes de outras línguas é operacionalizado e mensurado. Na prova oral, sete itens compõem duas escalas por meio das quais o avaliador-interlocutor e o avaliador-observador atribuem uma nota para cada um dos seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. Com objetivo de analisar a dimensionalidade das escalas, apresento a análise fatorial exploratória do conjunto de notas de 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O coeficiente de determinação R² foi de 0.9617 e o índice Tucker-Lewis (TLI) foi de 0.896. Os valores de carga fatorial dos itens da escala variaram de 0.65 a 0.94, sugerindo que os itens possam estar explicando o mesmo fator. O resultado da análise aponta que a nota da prova é uma medida unidimensional. A partir dos valores de comunalidade, apenas o item compreensão ficou ligeiramente abaixo 0.5, apontando a necessidade de investigação do item. Os valores de peso para cada um dos itens são, do maior para o menor; para nota do entrevistador, 0.36; adequação lexical, 0.19; fluência, 0.18; adequação gramatical, 0.13; competência interacional, 0.09; pronúncia, 0.06; compreensão, 0.04. Por meio da análise fatorial, apresento uma proposta de composição da nota da prova oral e discuto as implicações da mudança de peso dos itens na nova proposta para a classificação dos participantes por faixas de certificação.
id USP-11_192c1bf08218dc6e0aa03644df4dbfe0
oai_identifier_str oai:revistas.usp.br:article/162679
network_acronym_str USP-11
network_name_str Educação e Pesquisa
repository_id_str
spelling A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign LanguageUm estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para EstrangeirosDimensionalityValidityAssessment of an additional languageOral proficiencyFactorial analysisDimensionalidadeAvaliação de língua adicionalProficiência oralValidadeAnálise fatorialPor meio das escalas de avaliação do Celpe-Bras, um construto de proficiência oral em língua portuguesa para falantes de outras línguas é operacionalizado e mensurado. Na prova oral, sete itens compõem duas escalas por meio das quais o avaliador-interlocutor e o avaliador-observador atribuem uma nota para cada um dos seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. Com objetivo de analisar a dimensionalidade das escalas, apresento a análise fatorial exploratória do conjunto de notas de 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O coeficiente de determinação R² foi de 0.9617 e o índice Tucker-Lewis (TLI) foi de 0.896. Os valores de carga fatorial dos itens da escala variaram de 0.65 a 0.94, sugerindo que os itens possam estar explicando o mesmo fator. O resultado da análise aponta que a nota da prova é uma medida unidimensional. A partir dos valores de comunalidade, apenas o item compreensão ficou ligeiramente abaixo 0.5, apontando a necessidade de investigação do item. Os valores de peso para cada um dos itens são, do maior para o menor; para nota do entrevistador, 0.36; adequação lexical, 0.19; fluência, 0.18; adequação gramatical, 0.13; competência interacional, 0.09; pronúncia, 0.06; compreensão, 0.04. Por meio da análise fatorial, apresento uma proposta de composição da nota da prova oral e discuto as implicações da mudança de peso dos itens na nova proposta para a classificação dos participantes por faixas de certificação.By using Celp-Bras assessment scales, a construct of verbal proficiency in Portuguese for foreign-language speakers is operationalized and measured. The oral Celpe-Bras‘s score model is organized in seven items distributed in two scales through which the assessors - the interviewer and the observer – rate six each of the following items: comprehension, interactional competence, fluency, lexical adequacy, grammatical adequacy, and pronunciation. In order to analyze the dimensions of the scales, evidences to discuss the oral scale’s dimensionality, I perform the exploratory factorial analysis of a set of scores obtained by 1,000 participants who sat for the exam in its first edition in 2016. R² was 0.9617 and the Tucker Lewis Index (TLI) was 0.896. Only one factor explained the variables because the loading values ranged from 0.65 to 0.94. The measure was found unidimensional. According to the communality values, only comprehension was slightly below 0.5, indicating the need for further investigation. The weight values of each item were, in decreasing order: interviewer’s score 0.36, lexical adequacy 0.19, fluency 0.18, grammatical adequacy 0.13, interactional competence 0.09, pronunciation 0.06, and comprehension 0.04. Based on factorial analyses, I discuss a proposal for the composition of the individual scores in the oral test well as the implications of changing the weight of the items in the new proposal to rank participants on a per certification range basis.Universidade de São Paulo. Faculdade de Educação2019-09-26info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfapplication/pdfapplication/xmlhttps://www.revistas.usp.br/ep/article/view/16267910.1590/s1678-4634201945202512Educação e Pesquisa; v. 45 (2019); e202512Educação e Pesquisa; Vol. 45 (2019); e202512Educação e Pesquisa; Vol. 45 (2019); e2025121678-46341517-9702reponame:Educação e Pesquisainstname:Universidade de São Paulo (USP)instacron:USPengporhttps://www.revistas.usp.br/ep/article/view/162679/156524https://www.revistas.usp.br/ep/article/view/162679/156525https://www.revistas.usp.br/ep/article/view/162679/156526Copyright (c) 2019 Educação e Pesquisainfo:eu-repo/semantics/openAccessFerreira, Laura Márcia Luiza2021-06-13T21:31:26Zoai:revistas.usp.br:article/162679Revistahttps://www.revistas.usp.br/ep/indexPUBhttps://www.revistas.usp.br/ep/oai||revedu@usp.br1678-46341517-9702opendoar:2021-06-13T21:31:26Educação e Pesquisa - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language
Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros
title A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language
spellingShingle A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language
Ferreira, Laura Márcia Luiza
Dimensionality
Validity
Assessment of an additional language
Oral proficiency
Factorial analysis
Dimensionalidade
Avaliação de língua adicional
Proficiência oral
Validade
Análise fatorial
title_short A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language
title_full A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language
title_fullStr A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language
title_full_unstemmed A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language
title_sort A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language
author Ferreira, Laura Márcia Luiza
author_facet Ferreira, Laura Márcia Luiza
author_role author
dc.contributor.author.fl_str_mv Ferreira, Laura Márcia Luiza
dc.subject.por.fl_str_mv Dimensionality
Validity
Assessment of an additional language
Oral proficiency
Factorial analysis
Dimensionalidade
Avaliação de língua adicional
Proficiência oral
Validade
Análise fatorial
topic Dimensionality
Validity
Assessment of an additional language
Oral proficiency
Factorial analysis
Dimensionalidade
Avaliação de língua adicional
Proficiência oral
Validade
Análise fatorial
description Por meio das escalas de avaliação do Celpe-Bras, um construto de proficiência oral em língua portuguesa para falantes de outras línguas é operacionalizado e mensurado. Na prova oral, sete itens compõem duas escalas por meio das quais o avaliador-interlocutor e o avaliador-observador atribuem uma nota para cada um dos seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. Com objetivo de analisar a dimensionalidade das escalas, apresento a análise fatorial exploratória do conjunto de notas de 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O coeficiente de determinação R² foi de 0.9617 e o índice Tucker-Lewis (TLI) foi de 0.896. Os valores de carga fatorial dos itens da escala variaram de 0.65 a 0.94, sugerindo que os itens possam estar explicando o mesmo fator. O resultado da análise aponta que a nota da prova é uma medida unidimensional. A partir dos valores de comunalidade, apenas o item compreensão ficou ligeiramente abaixo 0.5, apontando a necessidade de investigação do item. Os valores de peso para cada um dos itens são, do maior para o menor; para nota do entrevistador, 0.36; adequação lexical, 0.19; fluência, 0.18; adequação gramatical, 0.13; competência interacional, 0.09; pronúncia, 0.06; compreensão, 0.04. Por meio da análise fatorial, apresento uma proposta de composição da nota da prova oral e discuto as implicações da mudança de peso dos itens na nova proposta para a classificação dos participantes por faixas de certificação.
publishDate 2019
dc.date.none.fl_str_mv 2019-09-26
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
format article
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.revistas.usp.br/ep/article/view/162679
10.1590/s1678-4634201945202512
url https://www.revistas.usp.br/ep/article/view/162679
identifier_str_mv 10.1590/s1678-4634201945202512
dc.language.iso.fl_str_mv eng
por
language eng
por
dc.relation.none.fl_str_mv https://www.revistas.usp.br/ep/article/view/162679/156524
https://www.revistas.usp.br/ep/article/view/162679/156525
https://www.revistas.usp.br/ep/article/view/162679/156526
dc.rights.driver.fl_str_mv Copyright (c) 2019 Educação e Pesquisa
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Copyright (c) 2019 Educação e Pesquisa
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
application/pdf
application/xml
dc.publisher.none.fl_str_mv Universidade de São Paulo. Faculdade de Educação
publisher.none.fl_str_mv Universidade de São Paulo. Faculdade de Educação
dc.source.none.fl_str_mv Educação e Pesquisa; v. 45 (2019); e202512
Educação e Pesquisa; Vol. 45 (2019); e202512
Educação e Pesquisa; Vol. 45 (2019); e202512
1678-4634
1517-9702
reponame:Educação e Pesquisa
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Educação e Pesquisa
collection Educação e Pesquisa
repository.name.fl_str_mv Educação e Pesquisa - Universidade de São Paulo (USP)
repository.mail.fl_str_mv ||revedu@usp.br
_version_ 1787713813242445824

Registros relacionados