Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros

Detalhes bibliográficos
Autor(a) principal: Ferreira, Laura Márcia Luiza
Data de Publicação: 2019
Tipo de documento: Artigo
Idioma: por
Título da fonte: Repositório Institucional da UNILA
Texto Completo: http://dspace.unila.edu.br/123456789/5784
Resumo: By using Celp-Bras assessment scales, a construct of verbal proficiency in Portuguese for foreign-language speakers is operationalized and measured. The oral Celpe-Bras‘s score model is organized in seven items distributed in two scales through which the assessors - the interviewer and the observer – rate six each of the following items: comprehension, interactional competence, fluency, lexical adequacy, grammatical adequacy, and pronunciation. In order to analyze the dimensions of the scales, evidences to discuss the oral scale’s dimensionality, I perform the exploratory factorial analysis of a set of scores obtained by 1,000 participants who sat for the exam in its first edition in 2016. R² was 0.9617 and the Tucker Lewis Index (TLI) was 0.896. Only one factor explained the variables because the loading values ranged from 0.65 to 0.94. The measure was found unidimensional. According to the communality values, only comprehension was slightly below 0.5, indicating the need for further investigation. The weight values of each item were, in decreasing order:interviewer’s score 0.36,lexical adequacy 0.19, fluency 0.18,grammatical adequacy 0.13, interactional competence 0.09, pronunciation 0.06, and comprehension 0.04. Based on factorial analyses, I discuss a proposal for the composition of the individual scores in the oral test well as the implications of changing the weight of the items in the new proposal to rank participants on a per certification range basis.
id UNIL_c4b55777772d7dfa97b33e91b2724d96
oai_identifier_str oai:dspace.unila.edu.br:123456789/5784
network_acronym_str UNIL
network_name_str Repositório Institucional da UNILA
repository_id_str 3636
spelling Ferreira, Laura Márcia Luiza2020-05-08T18:29:12Z2020-05-08T18:29:12Z2019-03-04FERREIRA, Laura Márcia Luiza. Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros. Educ. Pesqui.,  São Paulo ,  v. 45,  e202512,    2019 .   Available from <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1517-97022019000100565&lng=en&nrm=iso>. access on  08  May  2020.  Epub July 18, 2019. ISSN: 1678-4634DOI: https://doi.org/10.1590/s1678-4634201945202512http://dspace.unila.edu.br/123456789/5784ORCID: https://orcid.org/0000-0001-7632-0834By using Celp-Bras assessment scales, a construct of verbal proficiency in Portuguese for foreign-language speakers is operationalized and measured. The oral Celpe-Bras‘s score model is organized in seven items distributed in two scales through which the assessors - the interviewer and the observer – rate six each of the following items: comprehension, interactional competence, fluency, lexical adequacy, grammatical adequacy, and pronunciation. In order to analyze the dimensions of the scales, evidences to discuss the oral scale’s dimensionality, I perform the exploratory factorial analysis of a set of scores obtained by 1,000 participants who sat for the exam in its first edition in 2016. R² was 0.9617 and the Tucker Lewis Index (TLI) was 0.896. Only one factor explained the variables because the loading values ranged from 0.65 to 0.94. The measure was found unidimensional. According to the communality values, only comprehension was slightly below 0.5, indicating the need for further investigation. The weight values of each item were, in decreasing order:interviewer’s score 0.36,lexical adequacy 0.19, fluency 0.18,grammatical adequacy 0.13, interactional competence 0.09, pronunciation 0.06, and comprehension 0.04. Based on factorial analyses, I discuss a proposal for the composition of the individual scores in the oral test well as the implications of changing the weight of the items in the new proposal to rank participants on a per certification range basis.Por meio das escalas de avaliação do Celpe-Bras, um construto de proficiência oral em língua portuguesa para falantes de outras línguas é operacionalizado e mensurado. Na prova oral, sete itens compõem duas escalas por meio das quais o avaliador-interlocutor e o avaliador-observador atribuem uma nota para cada um dos seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. Com objetivo de analisar a dimensionalidade das escalas, apresento a análise fatorial exploratória do conjunto de notas de 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O coeficiente de determinação R2 foi de 0.9617 e o índice Tucker-Lewis (TLI) foi de 0.896. Os valores de carga fatorial dos itens da escala variaram de 0.65 a 0.94, sugerindo que os itens possam estar explicando o mesmo fator. O resultado da análise aponta que a nota da prova é uma medida unidimensional. A partir dos valores de comunalidade, apenas o item compreensão ficou ligeiramente abaixo 0.5, apontando a necessidade de investigação do item. Os valores de peso para cada um dos itens são, do maior para o menor; para nota do entrevistador, 0.36; adequação lexical, 0.19; fluência, 0.18; adequação gramatical, 0.13; competência interacional, 0.09; pronúncia, 0.06; compreensão, 0.04. Por meio da análise fatorial, apresento uma proposta de composição da nota da prova oral e discuto as implicações da mudança de peso dos itens na nova proposta para a classificação dos participantes por faixas de certificação.Submitted by laura marcia luiza ferreira (laura.ferreira@unila.edu.br) on 2020-05-08T18:29:12Z No. of bitstreams: 1 artigo_dimensionalidade_2019_A2.pdf: 1780322 bytes, checksum: 8c9e2d8b6e06199fa857317478dfce0b (MD5)Made available in DSpace on 2020-05-08T18:29:12Z (GMT). No. of bitstreams: 1 artigo_dimensionalidade_2019_A2.pdf: 1780322 bytes, checksum: 8c9e2d8b6e06199fa857317478dfce0b (MD5) Previous issue date: 2019-03-04porEducação e Pesquisa - USPEduc. Pesqui., São Paulo,v. 45, e202512, 2019.Dimensionalidade – Avaliação de língua adicionalProficiência oral – ValidadeAnálise fatorialUm estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para EstrangeirosA study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Languageinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/articleinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNILAinstname:Universidade Federal da Integração Latino-Americana (UNILA)instacron:UNILATHUMBNAILCapa REP.jpgCapa REP.jpgimage/jpeg95555http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5784/3/Capa+REP.jpgebeb264baae608115f9e8ff8e82e927eMD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81867http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5784/2/license.txt2cc17e5fa028bf681461a82474f236b8MD52ORIGINALartigo_dimensionalidade_2019_A2.pdfartigo_dimensionalidade_2019_A2.pdfArtigo de conclusão de cursoapplication/pdf1780322http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5784/1/artigo_dimensionalidade_2019_A2.pdf8c9e2d8b6e06199fa857317478dfce0bMD51123456789/57842020-05-18 08:28:32.266oai:dspace.unila.edu.br:123456789/5784TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkENCg0KQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVbmlsYSAoUklVTklMQSkgbyBkaXJlaXRvIG7Do28tZXhjbHVzaXZvIGRlIHJlcHJvZHV6aXIsIHRyYWR1emlyIChjb25mb3JtZSBkZWZpbmlkbyBhYmFpeG8pLCBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIMOhdWRpbyBlIHbDrWRlby4NCg0KVm9jw6ogY29uY29yZGEgcXVlIG8gUklVTklMQSBwb2RlLCBzZW0gYWx0ZXJhciBvIGNvbnRlw7pkbywgdHJhbnNwb3IgYSBzdWEgcHVibGljYcOnw6NvIHBhcmEgcXVhbHF1ZXIgbWVpbyBvdSBmb3JtYXRvIHBhcmEgZmlucyBkZSBwcmVzZXJ2YcOnw6NvLiANCg0KVm9jw6ogdGFtYsOpbSBjb25jb3JkYSBxdWUgbyBSSVVOSUxBIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZSBzdWEgcHVibGljYcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4gDQoNClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHB1YmxpY2HDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcyBuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkZSBzdWEgcHVibGljYcOnw6NvIG7Do28sIHF1ZSBzZWphIGRlIHNldSBjb25oZWNpbWVudG8sIGluZnJpbmdlIGRpcmVpdG9zIGF1dG9yYWlzIGRlIG5pbmd1w6ltLiANCg0KQ2FzbyBhIHN1YSBwdWJsaWNhw6fDo28gY29udGVuaGEgbWF0ZXJpYWwgcXVlIHZvY8OqIG7Do28gcG9zc3VpIGEgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgdm9jw6ogZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIGFvIFJJVU5JTEEgb3MgZGlyZWl0b3MgYXByZXNlbnRhZG9zIG5lc3RhIGxpY2Vuw6dhLCBlIHF1ZSBlc3NlIG1hdGVyaWFsIGRlIHByb3ByaWVkYWRlIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyBlIHJlY29uaGVjaWRvIG5vIHRleHRvIG91IG5vIGNvbnRlw7pkbyBkYSBwdWJsaWNhw6fDo28gb3JhIGRlcG9zaXRhZGEuIA0KDQpDQVNPIEEgUFVCTElDQcOHw4NPIE9SQSBERVBPU0lUQURBIFRFTkhBIFNJRE8gUkVTVUxUQURPIERFIFVNIFBBVFJPQ8ONTklPIE9VIEFQT0lPIERFIFVNQSBBR8OKTkNJQSBERSBGT01FTlRPIE9VIE9VVFJPIE9SR0FOSVNNTywgVk9Dw4ogREVDTEFSQSBRVUUgUkVTUEVJVE9VIFRPRE9TIEUgUVVBSVNRVUVSIERJUkVJVE9TIERFIFJFVklTw4NPIENPTSBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4gDQoNCk8gUklVTklMQSBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lKHMpIG91IG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBuZW5odW1hIGFsdGVyYcOnw6NvLCBhbMOpbSBkYXF1ZWxhcyBjb25jZWRpZGFzIHBvciBlc3RhIGxpY2Vuw6dhLg==Repositório de PublicaçõesPUBhttp://dspace.unila.edu.br/oai/requestopendoar:36362020-05-18T11:28:32Repositório Institucional da UNILA - Universidade Federal da Integração Latino-Americana (UNILA)false
dc.title.pt_BR.fl_str_mv Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros
dc.title.alternative.none.fl_str_mv A study of the dimensionality of assessment scales for oral proficiency for the Certificate of Proficiency in Portuguese as a Foreign Language
title Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros
spellingShingle Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros
Ferreira, Laura Márcia Luiza
Dimensionalidade – Avaliação de língua adicional
Proficiência oral – Validade
Análise fatorial
title_short Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros
title_full Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros
title_fullStr Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros
title_full_unstemmed Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros
title_sort Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros
author Ferreira, Laura Márcia Luiza
author_facet Ferreira, Laura Márcia Luiza
author_role author
dc.contributor.author.fl_str_mv Ferreira, Laura Márcia Luiza
dc.subject.por.fl_str_mv Dimensionalidade – Avaliação de língua adicional
Proficiência oral – Validade
Análise fatorial
topic Dimensionalidade – Avaliação de língua adicional
Proficiência oral – Validade
Análise fatorial
description By using Celp-Bras assessment scales, a construct of verbal proficiency in Portuguese for foreign-language speakers is operationalized and measured. The oral Celpe-Bras‘s score model is organized in seven items distributed in two scales through which the assessors - the interviewer and the observer – rate six each of the following items: comprehension, interactional competence, fluency, lexical adequacy, grammatical adequacy, and pronunciation. In order to analyze the dimensions of the scales, evidences to discuss the oral scale’s dimensionality, I perform the exploratory factorial analysis of a set of scores obtained by 1,000 participants who sat for the exam in its first edition in 2016. R² was 0.9617 and the Tucker Lewis Index (TLI) was 0.896. Only one factor explained the variables because the loading values ranged from 0.65 to 0.94. The measure was found unidimensional. According to the communality values, only comprehension was slightly below 0.5, indicating the need for further investigation. The weight values of each item were, in decreasing order:interviewer’s score 0.36,lexical adequacy 0.19, fluency 0.18,grammatical adequacy 0.13, interactional competence 0.09, pronunciation 0.06, and comprehension 0.04. Based on factorial analyses, I discuss a proposal for the composition of the individual scores in the oral test well as the implications of changing the weight of the items in the new proposal to rank participants on a per certification range basis.
publishDate 2019
dc.date.issued.fl_str_mv 2019-03-04
dc.date.accessioned.fl_str_mv 2020-05-08T18:29:12Z
dc.date.available.fl_str_mv 2020-05-08T18:29:12Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/article
format article
status_str publishedVersion
dc.identifier.citation.fl_str_mv FERREIRA, Laura Márcia Luiza. Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros. Educ. Pesqui.,  São Paulo ,  v. 45,  e202512,    2019 .   Available from <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1517-97022019000100565&lng=en&nrm=iso>. access on  08  May  2020.  Epub July 18, 2019. 
dc.identifier.uri.fl_str_mv http://dspace.unila.edu.br/123456789/5784
ORCID: https://orcid.org/0000-0001-7632-0834
dc.identifier.issn.none.fl_str_mv ISSN: 1678-4634
dc.identifier.other.none.fl_str_mv DOI: https://doi.org/10.1590/s1678-4634201945202512
identifier_str_mv FERREIRA, Laura Márcia Luiza. Um estudo sobre a dimensionalidade das escalas de avaliação da proficiência oral do Certificado de Proficiência em Língua Portuguesa para Estrangeiros. Educ. Pesqui.,  São Paulo ,  v. 45,  e202512,    2019 .   Available from <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1517-97022019000100565&lng=en&nrm=iso>. access on  08  May  2020.  Epub July 18, 2019. 
ISSN: 1678-4634
DOI: https://doi.org/10.1590/s1678-4634201945202512
ORCID: https://orcid.org/0000-0001-7632-0834
url http://dspace.unila.edu.br/123456789/5784
dc.language.iso.fl_str_mv por
language por
dc.relation.ispartof.none.fl_str_mv Educ. Pesqui., São Paulo,v. 45, e202512, 2019.
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Educação e Pesquisa - USP
publisher.none.fl_str_mv Educação e Pesquisa - USP
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNILA
instname:Universidade Federal da Integração Latino-Americana (UNILA)
instacron:UNILA
instname_str Universidade Federal da Integração Latino-Americana (UNILA)
instacron_str UNILA
institution UNILA
reponame_str Repositório Institucional da UNILA
collection Repositório Institucional da UNILA
bitstream.url.fl_str_mv http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5784/3/Capa+REP.jpg
http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5784/2/license.txt
http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5784/1/artigo_dimensionalidade_2019_A2.pdf
bitstream.checksum.fl_str_mv ebeb264baae608115f9e8ff8e82e927e
2cc17e5fa028bf681461a82474f236b8
8c9e2d8b6e06199fa857317478dfce0b
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UNILA - Universidade Federal da Integração Latino-Americana (UNILA)
repository.mail.fl_str_mv
_version_ 1797227569365385216