A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language
Autor(a) principal: | |
---|---|
Data de Publicação: | 2019 |
Tipo de documento: | Artigo |
Idioma: | eng por |
Título da fonte: | Educação e Pesquisa |
Texto Completo: | https://www.revistas.usp.br/ep/article/view/162679 |
Resumo: | Por meio das escalas de avaliação do Celpe-Bras, um construto de proficiência oral em língua portuguesa para falantes de outras línguas é operacionalizado e mensurado. Na prova oral, sete itens compõem duas escalas por meio das quais o avaliador-interlocutor e o avaliador-observador atribuem uma nota para cada um dos seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. Com objetivo de analisar a dimensionalidade das escalas, apresento a análise fatorial exploratória do conjunto de notas de 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O coeficiente de determinação R² foi de 0.9617 e o índice Tucker-Lewis (TLI) foi de 0.896. Os valores de carga fatorial dos itens da escala variaram de 0.65 a 0.94, sugerindo que os itens possam estar explicando o mesmo fator. O resultado da análise aponta que a nota da prova é uma medida unidimensional. A partir dos valores de comunalidade, apenas o item compreensão ficou ligeiramente abaixo 0.5, apontando a necessidade de investigação do item. Os valores de peso para cada um dos itens são, do maior para o menor; para nota do entrevistador, 0.36; adequação lexical, 0.19; fluência, 0.18; adequação gramatical, 0.13; competência interacional, 0.09; pronúncia, 0.06; compreensão, 0.04. Por meio da análise fatorial, apresento uma proposta de composição da nota da prova oral e discuto as implicações da mudança de peso dos itens na nova proposta para a classificação dos participantes por faixas de certificação. |
id |
USP-11_192c1bf08218dc6e0aa03644df4dbfe0 |
---|---|
oai_identifier_str |
oai:revistas.usp.br:article/162679 |
network_acronym_str |
USP-11 |
network_name_str |
Educação e Pesquisa |
repository_id_str |
|
spelling |
A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign LanguageUm estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para EstrangeirosDimensionalityValidityAssessment of an additional languageOral proficiencyFactorial analysisDimensionalidadeAvaliação de língua adicionalProficiência oralValidadeAnálise fatorialPor meio das escalas de avaliação do Celpe-Bras, um construto de proficiência oral em língua portuguesa para falantes de outras línguas é operacionalizado e mensurado. Na prova oral, sete itens compõem duas escalas por meio das quais o avaliador-interlocutor e o avaliador-observador atribuem uma nota para cada um dos seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. Com objetivo de analisar a dimensionalidade das escalas, apresento a análise fatorial exploratória do conjunto de notas de 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O coeficiente de determinação R² foi de 0.9617 e o índice Tucker-Lewis (TLI) foi de 0.896. Os valores de carga fatorial dos itens da escala variaram de 0.65 a 0.94, sugerindo que os itens possam estar explicando o mesmo fator. O resultado da análise aponta que a nota da prova é uma medida unidimensional. A partir dos valores de comunalidade, apenas o item compreensão ficou ligeiramente abaixo 0.5, apontando a necessidade de investigação do item. Os valores de peso para cada um dos itens são, do maior para o menor; para nota do entrevistador, 0.36; adequação lexical, 0.19; fluência, 0.18; adequação gramatical, 0.13; competência interacional, 0.09; pronúncia, 0.06; compreensão, 0.04. Por meio da análise fatorial, apresento uma proposta de composição da nota da prova oral e discuto as implicações da mudança de peso dos itens na nova proposta para a classificação dos participantes por faixas de certificação.By using Celp-Bras assessment scales, a construct of verbal proficiency in Portuguese for foreign-language speakers is operationalized and measured. The oral Celpe-Bras‘s score model is organized in seven items distributed in two scales through which the assessors - the interviewer and the observer – rate six each of the following items: comprehension, interactional competence, fluency, lexical adequacy, grammatical adequacy, and pronunciation. In order to analyze the dimensions of the scales, evidences to discuss the oral scale’s dimensionality, I perform the exploratory factorial analysis of a set of scores obtained by 1,000 participants who sat for the exam in its first edition in 2016. R² was 0.9617 and the Tucker Lewis Index (TLI) was 0.896. Only one factor explained the variables because the loading values ranged from 0.65 to 0.94. The measure was found unidimensional. According to the communality values, only comprehension was slightly below 0.5, indicating the need for further investigation. The weight values of each item were, in decreasing order: interviewer’s score 0.36, lexical adequacy 0.19, fluency 0.18, grammatical adequacy 0.13, interactional competence 0.09, pronunciation 0.06, and comprehension 0.04. Based on factorial analyses, I discuss a proposal for the composition of the individual scores in the oral test well as the implications of changing the weight of the items in the new proposal to rank participants on a per certification range basis.Universidade de São Paulo. Faculdade de Educação2019-09-26info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionapplication/pdfapplication/pdfapplication/xmlhttps://www.revistas.usp.br/ep/article/view/16267910.1590/s1678-4634201945202512Educação e Pesquisa; v. 45 (2019); e202512Educação e Pesquisa; Vol. 45 (2019); e202512Educação e Pesquisa; Vol. 45 (2019); e2025121678-46341517-9702reponame:Educação e Pesquisainstname:Universidade de São Paulo (USP)instacron:USPengporhttps://www.revistas.usp.br/ep/article/view/162679/156524https://www.revistas.usp.br/ep/article/view/162679/156525https://www.revistas.usp.br/ep/article/view/162679/156526Copyright (c) 2019 Educação e Pesquisainfo:eu-repo/semantics/openAccessFerreira, Laura Márcia Luiza2021-06-13T21:31:26Zoai:revistas.usp.br:article/162679Revistahttps://www.revistas.usp.br/ep/indexPUBhttps://www.revistas.usp.br/ep/oai||revedu@usp.br1678-46341517-9702opendoar:2021-06-13T21:31:26Educação e Pesquisa - Universidade de São Paulo (USP)false |
dc.title.none.fl_str_mv |
A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros |
title |
A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language |
spellingShingle |
A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language Ferreira, Laura Márcia Luiza Dimensionality Validity Assessment of an additional language Oral proficiency Factorial analysis Dimensionalidade Avaliação de língua adicional Proficiência oral Validade Análise fatorial |
title_short |
A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language |
title_full |
A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language |
title_fullStr |
A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language |
title_full_unstemmed |
A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language |
title_sort |
A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language |
author |
Ferreira, Laura Márcia Luiza |
author_facet |
Ferreira, Laura Márcia Luiza |
author_role |
author |
dc.contributor.author.fl_str_mv |
Ferreira, Laura Márcia Luiza |
dc.subject.por.fl_str_mv |
Dimensionality Validity Assessment of an additional language Oral proficiency Factorial analysis Dimensionalidade Avaliação de língua adicional Proficiência oral Validade Análise fatorial |
topic |
Dimensionality Validity Assessment of an additional language Oral proficiency Factorial analysis Dimensionalidade Avaliação de língua adicional Proficiência oral Validade Análise fatorial |
description |
Por meio das escalas de avaliação do Celpe-Bras, um construto de proficiência oral em língua portuguesa para falantes de outras línguas é operacionalizado e mensurado. Na prova oral, sete itens compõem duas escalas por meio das quais o avaliador-interlocutor e o avaliador-observador atribuem uma nota para cada um dos seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. Com objetivo de analisar a dimensionalidade das escalas, apresento a análise fatorial exploratória do conjunto de notas de 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O coeficiente de determinação R² foi de 0.9617 e o índice Tucker-Lewis (TLI) foi de 0.896. Os valores de carga fatorial dos itens da escala variaram de 0.65 a 0.94, sugerindo que os itens possam estar explicando o mesmo fator. O resultado da análise aponta que a nota da prova é uma medida unidimensional. A partir dos valores de comunalidade, apenas o item compreensão ficou ligeiramente abaixo 0.5, apontando a necessidade de investigação do item. Os valores de peso para cada um dos itens são, do maior para o menor; para nota do entrevistador, 0.36; adequação lexical, 0.19; fluência, 0.18; adequação gramatical, 0.13; competência interacional, 0.09; pronúncia, 0.06; compreensão, 0.04. Por meio da análise fatorial, apresento uma proposta de composição da nota da prova oral e discuto as implicações da mudança de peso dos itens na nova proposta para a classificação dos participantes por faixas de certificação. |
publishDate |
2019 |
dc.date.none.fl_str_mv |
2019-09-26 |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion |
format |
article |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://www.revistas.usp.br/ep/article/view/162679 10.1590/s1678-4634201945202512 |
url |
https://www.revistas.usp.br/ep/article/view/162679 |
identifier_str_mv |
10.1590/s1678-4634201945202512 |
dc.language.iso.fl_str_mv |
eng por |
language |
eng por |
dc.relation.none.fl_str_mv |
https://www.revistas.usp.br/ep/article/view/162679/156524 https://www.revistas.usp.br/ep/article/view/162679/156525 https://www.revistas.usp.br/ep/article/view/162679/156526 |
dc.rights.driver.fl_str_mv |
Copyright (c) 2019 Educação e Pesquisa info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
Copyright (c) 2019 Educação e Pesquisa |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf application/pdf application/xml |
dc.publisher.none.fl_str_mv |
Universidade de São Paulo. Faculdade de Educação |
publisher.none.fl_str_mv |
Universidade de São Paulo. Faculdade de Educação |
dc.source.none.fl_str_mv |
Educação e Pesquisa; v. 45 (2019); e202512 Educação e Pesquisa; Vol. 45 (2019); e202512 Educação e Pesquisa; Vol. 45 (2019); e202512 1678-4634 1517-9702 reponame:Educação e Pesquisa instname:Universidade de São Paulo (USP) instacron:USP |
instname_str |
Universidade de São Paulo (USP) |
instacron_str |
USP |
institution |
USP |
reponame_str |
Educação e Pesquisa |
collection |
Educação e Pesquisa |
repository.name.fl_str_mv |
Educação e Pesquisa - Universidade de São Paulo (USP) |
repository.mail.fl_str_mv |
||revedu@usp.br |
_version_ |
1787713813242445824 |