Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras

Detalhes bibliográficos
Autor(a) principal: Ferreira, Laura Márcia Luiza
Data de Publicação: 2018
Tipo de documento: Tese
Idioma: por
Título da fonte: Repositório Institucional da UNILA
Texto Completo: http://dspace.unila.edu.br/123456789/5786
Resumo: Tese apresentada ao Programa de Pós-graduação em Estudos de Linguagens do Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG) como requisito parcial para a obtenção do título de Doutora em Estudos de LInguagens. Orientação: Prof. Dr. Jerônimo Coura Sobrinho
id UNIL_1fb8f1f249e13647c966935d45c40714
oai_identifier_str oai:dspace.unila.edu.br:123456789/5786
network_acronym_str UNIL
network_name_str Repositório Institucional da UNILA
repository_id_str 3636
spelling Ferreira, Laura Márcia LuizaCoura Sobrinho, Jerônimo2020-05-08T19:08:05Z2020-05-08T19:08:05Z2018-04-04FERREIRA, Laura Márcia Luiza. Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras.2018. 244 f. Tese de Doutorado (Pós-graduação em Estudos de Linguagens) - Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG), Belo Horizonte: CEFET-MG, 2018.http://dspace.unila.edu.br/123456789/5786Tese apresentada ao Programa de Pós-graduação em Estudos de Linguagens do Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG) como requisito parcial para a obtenção do título de Doutora em Estudos de LInguagens. Orientação: Prof. Dr. Jerônimo Coura SobrinhoSince sistematic errors may affect scores, assessments are imperfect samples of constructs to be validated. According to Messick's Validation Theory (1987), assessment validation is a matter of gathering multiple sources of empirical evidence and theoretical rationales to support dimensionality, item fit and information on the oral Celpe-Bras exam scales, I perform a exploratory factor analysis and an item discrimination analyses, using Rasch's Partial Credit Model. First, I describe the oral exam task as an oral proficiency interview. Then I discuss the Messick's Validation Theory and it's influence on applied linguistics and on second language assessment theoretical works. It was analysed 1,000 examinee's scores from the first exam edition the interviewer and six itens by the rater itself. The interviewer scores one single note for the performance while the rater scores one note for the following itens that the test score is an one-dimesional measure. According to the weight values, the itens that weighed the most on the fator oral proficiency were the interviewer's score (0.36), followed by lexical adequacy (0.19), fluency (0.18) and grammatical adequacy (0.13). Interactional competence, pronuciation and comprehension weighted 0.09, 0.06 and 0.04, respectively. According to Rasch's analyses the infit msq values for the itens was >2.0, sugesting poor fit. Since the threshold's value categories were not homogeneous through the scales, the itens may not distinguish in the same way examinees from the same profile ability. Finally, I discuss a score's composite proposal the relevance of iten comprehension in this oral situation as well as the investment on descriptor's and task's review.Como as avaliações podem admitir erros sistemáticos, os escores podem ser afetados, por isso é preciso validá-las por meio da análise de evidências variadas. Na perspectiva de Messick (1987), a validade é um conceito único, que consiste em avaliar evidências empíricas e teóricas sobre a pertinência das inferências feitas a partir da nota de um teste. O objetivo do presente trabalho é analisar as escalas de avaliação da prova oral do exame Celpe-Bras forma a coletar evidências da validade interna dos instrumentos. Inicialmente, argumento que a prova oral é uma tarefa cuja situação é a entrevista de proficiência oral. Em seguida, apresento a Teoria de Validade proposta por Messick (1987) e a relaciono com a maneira como o conceito tem sido definido por especialistas em avaliação de línguas. Para analisar os sete itens que compõem as duas escalas de avaliação da prova oral, quanto à sua dimensionalidade, apresento uma análise fatorial exploratória. Quanto ao ajuste e à quantidade de informação de cada item, apresento uma análise de discriminação de itens, por meio do modelo Rasch básico na extensão Partial Credit Model. A escala do avaliador-intelocutor é composta por um item e a escala do avaliador-observador contém seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. O conjunto de dados analisados nesta pesquisa é composto por notas atribuídas para 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O resultado da análise fatorial sugere que a nota da prova oral seja uma medida unidimensional. Os valores de peso dos itens da escala, do maior para o menor, são de 0.36 para nota do avaliador-interlocutor, 0.19 para adequação lexical, 0.18 para fluência, 0.13 para adequação gramatical, seguidas dos itens competência interacional, pronúncia e compreensão com os valores de 0.09, 0.06 e 0.04, respectivamente. A partir da análise de discriminação de itens, os valores da média quadrada de infit variou de 0.431 a 1.386, sugerindo bom ajuste dos itens. Porém, quanto ao valor da média quadrada de outfit, o item compreensão apresentou um valor acima de 2.0, apontando necessidade de revisão do item na escala. Ao considerar intervalos entre os valores de threshold dos sete itens das escalas, posso afirmar que uma mesma faixa de nota em cada um dos itens pode não discriminar da mesma forma o mesmo perfil de examinandos. Com base na análise fatorial e na análise de discriminação de itens, discuto uma proposta de mudança de peso dos itens na composição da nota oral, especialmente quanto ao item compreensão, bem como a necessidade de investimento na revisão dos descritores das escalas, da tarefa e da situação de entrevista de proficiência oral.Submitted by laura marcia luiza ferreira (laura.ferreira@unila.edu.br) on 2020-05-08T19:08:05Z No. of bitstreams: 1 tese_final_sigaa.pdf: 265699968 bytes, checksum: 1427e26e9a0377666f0fca19ab8198f0 (MD5)Made available in DSpace on 2020-05-08T19:08:05Z (GMT). No. of bitstreams: 1 tese_final_sigaa.pdf: 265699968 bytes, checksum: 1427e26e9a0377666f0fca19ab8198f0 (MD5) Previous issue date: 2018-04-04porCEFET-MGLíngua protuguesa - Testes de aptidãoProficiência oral - AvaliaçãoAnálise fatorialTeoria de resposta ao itemAvaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Brasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNILAinstname:Universidade Federal da Integração Latino-Americana (UNILA)instacron:UNILATHUMBNAILCapa REP.jpgCapa REP.jpgimage/jpeg20981http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5786/3/Capa+REP.jpg0df31009604d4d7a9fe7bf4309448e12MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81019http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5786/2/license.txtae61abb910ea8b57960567ed3a404bdaMD52ORIGINALtese_final_sigaa.pdftese_final_sigaa.pdfapplication/pdf265699968http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5786/1/tese_final_sigaa.pdf1427e26e9a0377666f0fca19ab8198f0MD51123456789/57862020-05-09 10:42:04.179oai:dspace.unila.edu.br:123456789/5786TGljZW7Dp2EgbsOjby1leGNsdXNpdmEgZGUgRGlzdHJpYnVpw6fDo28gCgoKTyByZWZlcmlkbyBhdXRvcjoKCmEpIERlY2xhcmEgcXVlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIMOpIHNldSB0cmFiYWxobyBvcmlnaW5hbCwgZSBxdWUKbyBkZXTDqW0gbyBkaXJlaXRvIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiAKRGVjbGFyYSB0YW1iw6ltIHF1ZSBhIGVudHJlZ2EgZG8gZG9jdW1lbnRvIG7Do28gaW5mcmluZ2UsIHRhbnRvIHF1YW50byAKbGhlIMOpIHBvc3PDrXZlbCBzYWJlciwgb3MgZGlyZWl0b3MgZGUgcXVhbHF1ZXIgb3V0cmEgcGVzc29hIG91IGVudGlkYWRlLgoKYikgU2UgbyBkb2N1bWVudG8gZW50cmVndWUgY29udMOpbSBtYXRlcmlhbCBkbyBxdWFsIG7Do28gZGV0w6ltIG9zIGRpcmVpdG9zCmRlIGF1dG9yLCBkZWNsYXJhIHF1ZSBvYnRldmUgYXV0b3JpemHDp8OjbyBkbyBkZXRlbnRvciBkb3MgZGlyZWl0b3MgZGUgCmF1dG9yIHBhcmEgY29uY2VkZXIgw6AgVU5JTEEg4oCTIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRhIEludGVncmHDp8OjbyAKTGF0aW5vLUFtZXJpY2FuYSBvcyBkaXJlaXRvcyByZXF1ZXJpZG9zIHBvciBlc3RhIGxpY2Vuw6dhLCBlIHF1ZSBlc3NlIAptYXRlcmlhbCBjdWpvcyBkaXJlaXRvcyBzw6NvIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyBlCnJlY29uaGVjaWRvIG5vIHRleHRvIG91IGNvbnRlw7pkbyBkbyBkb2N1bWVudG8gZW50cmVndWUuCgpTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBiYXNlYWRvIGVtIHRyYWJhbGhvIGZpbmFuY2lhZG8gb3UgYXBvaWFkbyBwb3IgCm91dHJhIGluc3RpdHVpw6fDo28gcXVlIG7Do28gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkYSBJbnRlZ3Jhw6fDo28gCkxhdGluby1BbWVyaWNhbmEsIGRlY2xhcmEgcXVlIGN1bXByaXUgcXVhaXNxdWVyIG9icmlnYcOnw7VlcyBleGlnaWRhcyBwZWxvCnJlc3BlY3Rpdm8gY29udHJhdG8gb3UgYWNvcmRvLgo=Repositório de PublicaçõesPUBhttp://dspace.unila.edu.br/oai/requestopendoar:36362020-05-09T13:42:04Repositório Institucional da UNILA - Universidade Federal da Integração Latino-Americana (UNILA)false
dc.title.pt_BR.fl_str_mv Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras
title Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras
spellingShingle Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras
Ferreira, Laura Márcia Luiza
Língua protuguesa - Testes de aptidão
Proficiência oral - Avaliação
Análise fatorial
Teoria de resposta ao item
title_short Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras
title_full Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras
title_fullStr Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras
title_full_unstemmed Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras
title_sort Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras
author Ferreira, Laura Márcia Luiza
author_facet Ferreira, Laura Márcia Luiza
author_role author
dc.contributor.author.fl_str_mv Ferreira, Laura Márcia Luiza
dc.contributor.advisor1.fl_str_mv Coura Sobrinho, Jerônimo
contributor_str_mv Coura Sobrinho, Jerônimo
dc.subject.por.fl_str_mv Língua protuguesa - Testes de aptidão
Proficiência oral - Avaliação
Análise fatorial
Teoria de resposta ao item
topic Língua protuguesa - Testes de aptidão
Proficiência oral - Avaliação
Análise fatorial
Teoria de resposta ao item
description Tese apresentada ao Programa de Pós-graduação em Estudos de Linguagens do Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG) como requisito parcial para a obtenção do título de Doutora em Estudos de LInguagens. Orientação: Prof. Dr. Jerônimo Coura Sobrinho
publishDate 2018
dc.date.issued.fl_str_mv 2018-04-04
dc.date.accessioned.fl_str_mv 2020-05-08T19:08:05Z
dc.date.available.fl_str_mv 2020-05-08T19:08:05Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv FERREIRA, Laura Márcia Luiza. Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras.2018. 244 f. Tese de Doutorado (Pós-graduação em Estudos de Linguagens) - Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG), Belo Horizonte: CEFET-MG, 2018.
dc.identifier.uri.fl_str_mv http://dspace.unila.edu.br/123456789/5786
identifier_str_mv FERREIRA, Laura Márcia Luiza. Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras.2018. 244 f. Tese de Doutorado (Pós-graduação em Estudos de Linguagens) - Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG), Belo Horizonte: CEFET-MG, 2018.
url http://dspace.unila.edu.br/123456789/5786
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv CEFET-MG
publisher.none.fl_str_mv CEFET-MG
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNILA
instname:Universidade Federal da Integração Latino-Americana (UNILA)
instacron:UNILA
instname_str Universidade Federal da Integração Latino-Americana (UNILA)
instacron_str UNILA
institution UNILA
reponame_str Repositório Institucional da UNILA
collection Repositório Institucional da UNILA
bitstream.url.fl_str_mv http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5786/3/Capa+REP.jpg
http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5786/2/license.txt
http://dspace.unila.edu.br:80/xmlui/bitstream/123456789/5786/1/tese_final_sigaa.pdf
bitstream.checksum.fl_str_mv 0df31009604d4d7a9fe7bf4309448e12
ae61abb910ea8b57960567ed3a404bda
1427e26e9a0377666f0fca19ab8198f0
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UNILA - Universidade Federal da Integração Latino-Americana (UNILA)
repository.mail.fl_str_mv
_version_ 1797227569370628096

Registros relacionados