Análise automática de feedback em ambientes virtuais de aprendizagem
Autor(a) principal: | |
---|---|
Data de Publicação: | 2022 |
Tipo de documento: | Tese |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFPE |
Texto Completo: | https://repositorio.ufpe.br/handle/123456789/49465 |
Resumo: | O feedback é um componente muito importante no processo de ensino-aprendizagem, pois ajuda o aluno a identificar as lacunas e avaliar o seu progresso no aprendizado. Em cursos a distância o feedback se torna ainda mais importante, pois é um dos recursos mais utilizados na interação entre professor e aluno, já que ambos estão separados fisicamente. No entanto, devido ao crescimento significativo da quantidade de alunos em cursos a distância, é difícil para os instrutores fornecer um feedback de alta qualidade. Nesse contexto, este trabalho tem como objetivo propor uma abordagem para analisar automaticamente os feedbacks fornecidos por professores em cursos online. Para isso, foram utilizados recursos linguísticos para extrair as características dos textos e algoritmos de aprendizagem de máquina para classificação. O objetivo é que os modelos de aprendizagem de máquina aprendam os padrões de bons feedbacks textuais que foram apresentados durante o treinamento. Foram realizados experimentos com base em duas teorias educacionais de feedback propostas na literatura utilizando diferentes classificadores, entre eles, o Random Forest, AdaBoost, XGBoost e o BERT (Bidirectional Encoder Representations from Transformers). Além de verificar qual algoritmo obtém os melhores resultados, também propomos a análise de quais as características são mais relevantes para cada classificador usando a medida Mean Decrease Gini (MDG) e o método eXplainable Artificial Intelligence (XAI). Os experimentos seguiram uma sequência de análise de cada classificador, começando pelo Random Forest e com base nos resultados obtidos, outros classificadores eram analisados com o objetivo de melhorar a acurácia do modelo. Os resultados obtidos demostram uma boa acurácia e os modelos gerados podem ser utilizados integrados em sistemas educacionais para ajudar o professor a fornecer um bom feedback ao aluno, onde a ferramenta apresentará quais os níveis de feedback e boas práticas de feedback o texto do professor possui, e com base nessa informação ele irá ajustar o seu texto para conseguir atingir o maior número de boas práticas. |
id |
UFPE_fa0707bd543d47e81f6584c3140315e4 |
---|---|
oai_identifier_str |
oai:repositorio.ufpe.br:123456789/49465 |
network_acronym_str |
UFPE |
network_name_str |
Repositório Institucional da UFPE |
repository_id_str |
2221 |
spelling |
CAVALCANTI, Anderson Pinheirohttp://lattes.cnpq.br/3833454062140432http://lattes.cnpq.br/6195215666638965http://lattes.cnpq.br/6190254569597745FREITAS, Frederico Luiz Gonçalves deMELLO, Rafael Ferreira Leite de2023-03-23T17:06:55Z2023-03-23T17:06:55Z2022-12-14CAVALCANTI, Anderson Pinheiro. Análise automática de feedback em ambientes virtuais de aprendizagem. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.https://repositorio.ufpe.br/handle/123456789/49465O feedback é um componente muito importante no processo de ensino-aprendizagem, pois ajuda o aluno a identificar as lacunas e avaliar o seu progresso no aprendizado. Em cursos a distância o feedback se torna ainda mais importante, pois é um dos recursos mais utilizados na interação entre professor e aluno, já que ambos estão separados fisicamente. No entanto, devido ao crescimento significativo da quantidade de alunos em cursos a distância, é difícil para os instrutores fornecer um feedback de alta qualidade. Nesse contexto, este trabalho tem como objetivo propor uma abordagem para analisar automaticamente os feedbacks fornecidos por professores em cursos online. Para isso, foram utilizados recursos linguísticos para extrair as características dos textos e algoritmos de aprendizagem de máquina para classificação. O objetivo é que os modelos de aprendizagem de máquina aprendam os padrões de bons feedbacks textuais que foram apresentados durante o treinamento. Foram realizados experimentos com base em duas teorias educacionais de feedback propostas na literatura utilizando diferentes classificadores, entre eles, o Random Forest, AdaBoost, XGBoost e o BERT (Bidirectional Encoder Representations from Transformers). Além de verificar qual algoritmo obtém os melhores resultados, também propomos a análise de quais as características são mais relevantes para cada classificador usando a medida Mean Decrease Gini (MDG) e o método eXplainable Artificial Intelligence (XAI). Os experimentos seguiram uma sequência de análise de cada classificador, começando pelo Random Forest e com base nos resultados obtidos, outros classificadores eram analisados com o objetivo de melhorar a acurácia do modelo. Os resultados obtidos demostram uma boa acurácia e os modelos gerados podem ser utilizados integrados em sistemas educacionais para ajudar o professor a fornecer um bom feedback ao aluno, onde a ferramenta apresentará quais os níveis de feedback e boas práticas de feedback o texto do professor possui, e com base nessa informação ele irá ajustar o seu texto para conseguir atingir o maior número de boas práticas.CAPESFeedback is a very important component in the teaching-learning process, as it helps students to identify gaps and assess their learning progress. In distance courses, feedback becomes even more important, as it is one of the most used resources in the interaction between teacher and student, since both are physically separated. However, due to the significant growth in the number of students in distance courses, it is difficult for instructors to provide high quality feedback. In this context, this work aims to propose an approach to automatically analyze the feedback provided by teachers in online courses. For this, linguistic resources were used to extract the characteristics of the texts and machine learning algorithms for classification. The goal is for the machine learning models to learn the good textual feedback patterns that were presented during training. Experiments were carried out based on two educational feedback theories proposed in the literature using different classifiers, including Random Forest, AdaBoost, XGBoost and BERT (Bidirectional Encoder Representations from Transformers). In addition to verifying which algorithm obtains the best results, we also propose the analysis of which features are most relevant for each classifier using the measure Mean Decrease Gini (MDG) and the method eXplainable Artificial Intelligence (XAI). The experiments followed a sequence of analysis of each classifier, starting with Random Forest and based on the results obtained, other classifiers were analyzed with the aim of improving the accuracy of the model. The results obtained demonstrate good accuracy and the generated models can be used integrated in educational systems to help the teacher to provide good feedback to the student, where the tool will present what levels of feedback and good feedback practices the teacher’s text has, and based on that information, he will adjust his text to achieve the highest number of good practices.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/embargoedAccessInteligência computacionalAmbientes virtuais de aprendizagemAnálise automática de feedback em ambientes virtuais de aprendizageminfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisdoutoradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALTESE Anderson Pinheiro Cavalcanti.pdfTESE Anderson Pinheiro Cavalcanti.pdfapplication/pdf2424335https://repositorio.ufpe.br/bitstream/123456789/49465/1/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdfc0f86763054eb8b25c231e50cdbe463dMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-82362https://repositorio.ufpe.br/bitstream/123456789/49465/3/license.txt5e89a1613ddc8510c6576f4b23a78973MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/49465/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52TEXTTESE Anderson Pinheiro Cavalcanti.pdf.txtTESE Anderson Pinheiro Cavalcanti.pdf.txtExtracted texttext/plain388971https://repositorio.ufpe.br/bitstream/123456789/49465/4/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdf.txtff27a635f5952a017b18e1283ac5ea32MD54THUMBNAILTESE Anderson Pinheiro Cavalcanti.pdf.jpgTESE Anderson Pinheiro Cavalcanti.pdf.jpgGenerated Thumbnailimage/jpeg1221https://repositorio.ufpe.br/bitstream/123456789/49465/5/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdf.jpg48296a43f3c7e83fa9d27c55a7db676dMD55123456789/494652023-03-24 02:16:19.023oai:repositorio.ufpe.br:123456789/49465VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2l6YcOnw6NvIGRlIERvY3VtZW50b3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRQoKCkRlY2xhcm8gZXN0YXIgY2llbnRlIGRlIHF1ZSBlc3RlIFRlcm1vIGRlIERlcMOzc2l0byBMZWdhbCBlIEF1dG9yaXphw6fDo28gdGVtIG8gb2JqZXRpdm8gZGUgZGl2dWxnYcOnw6NvIGRvcyBkb2N1bWVudG9zIGRlcG9zaXRhZG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgZSBkZWNsYXJvIHF1ZToKCkkgLSBvcyBkYWRvcyBwcmVlbmNoaWRvcyBubyBmb3JtdWzDoXJpbyBkZSBkZXDDs3NpdG8gc8OjbyB2ZXJkYWRlaXJvcyBlIGF1dMOqbnRpY29zOwoKSUkgLSAgbyBjb250ZcO6ZG8gZGlzcG9uaWJpbGl6YWRvIMOpIGRlIHJlc3BvbnNhYmlsaWRhZGUgZGUgc3VhIGF1dG9yaWE7CgpJSUkgLSBvIGNvbnRlw7pkbyDDqSBvcmlnaW5hbCwgZSBzZSBvIHRyYWJhbGhvIGUvb3UgcGFsYXZyYXMgZGUgb3V0cmFzIHBlc3NvYXMgZm9yYW0gdXRpbGl6YWRvcywgZXN0YXMgZm9yYW0gZGV2aWRhbWVudGUgcmVjb25oZWNpZGFzOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIG9icmEgY29sZXRpdmEgKG1haXMgZGUgdW0gYXV0b3IpOiB0b2RvcyBvcyBhdXRvcmVzIGVzdMOjbyBjaWVudGVzIGRvIGRlcMOzc2l0byBlIGRlIGFjb3JkbyBjb20gZXN0ZSB0ZXJtbzsKClYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogbyBhcnF1aXZvIGRlcG9zaXRhZG8gY29ycmVzcG9uZGUgw6AgdmVyc8OjbyBmaW5hbCBkbyB0cmFiYWxobzsKClZJIC0gcXVhbmRvIHRyYXRhci1zZSBkZSBUcmFiYWxobyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvLCBEaXNzZXJ0YcOnw6NvIG91IFRlc2U6IGVzdG91IGNpZW50ZSBkZSBxdWUgYSBhbHRlcmHDp8OjbyBkYSBtb2RhbGlkYWRlIGRlIGFjZXNzbyBhbyBkb2N1bWVudG8gYXDDs3MgbyBkZXDDs3NpdG8gZSBhbnRlcyBkZSBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvLCBxdWFuZG8gZm9yIGVzY29saGlkbyBhY2Vzc28gcmVzdHJpdG8sIHNlcsOhIHBlcm1pdGlkYSBtZWRpYW50ZSBzb2xpY2l0YcOnw6NvIGRvIChhKSBhdXRvciAoYSkgYW8gU2lzdGVtYSBJbnRlZ3JhZG8gZGUgQmlibGlvdGVjYXMgZGEgVUZQRSAoU0lCL1VGUEUpLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gQWJlcnRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwLCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIGEgcGFydGlyIGRhIGRhdGEgZGUgZGVww7NzaXRvLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gUmVzdHJpdG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAgZGUgMTkgZGUgZmV2ZXJlaXJvIGRlIDE5OTgsIGFydC4gMjksIGluY2lzbyBJSUksIGF1dG9yaXpvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgUGVybmFtYnVjbyBhIGRpc3BvbmliaWxpemFyIGdyYXR1aXRhbWVudGUsIHNlbSByZXNzYXJjaW1lbnRvIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgcGFyYSBmaW5zIGRlIGxlaXR1cmEsIGltcHJlc3PDo28gZS9vdSBkb3dubG9hZCAoYXF1aXNpw6fDo28pIGF0cmF2w6lzIGRvIHNpdGUgZG8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBubyBlbmRlcmXDp28gaHR0cDovL3d3dy5yZXBvc2l0b3Jpby51ZnBlLmJyLCBxdWFuZG8gZmluZGFyIG8gcGVyw61vZG8gZGUgZW1iYXJnbyBjb25kaXplbnRlIGFvIHRpcG8gZGUgZG9jdW1lbnRvLCBjb25mb3JtZSBpbmRpY2FkbyBubyBjYW1wbyBEYXRhIGRlIEVtYmFyZ28uCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212023-03-24T05:16:19Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
dc.title.pt_BR.fl_str_mv |
Análise automática de feedback em ambientes virtuais de aprendizagem |
title |
Análise automática de feedback em ambientes virtuais de aprendizagem |
spellingShingle |
Análise automática de feedback em ambientes virtuais de aprendizagem CAVALCANTI, Anderson Pinheiro Inteligência computacional Ambientes virtuais de aprendizagem |
title_short |
Análise automática de feedback em ambientes virtuais de aprendizagem |
title_full |
Análise automática de feedback em ambientes virtuais de aprendizagem |
title_fullStr |
Análise automática de feedback em ambientes virtuais de aprendizagem |
title_full_unstemmed |
Análise automática de feedback em ambientes virtuais de aprendizagem |
title_sort |
Análise automática de feedback em ambientes virtuais de aprendizagem |
author |
CAVALCANTI, Anderson Pinheiro |
author_facet |
CAVALCANTI, Anderson Pinheiro |
author_role |
author |
dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/3833454062140432 |
dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/6195215666638965 |
dc.contributor.advisor-coLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/6190254569597745 |
dc.contributor.author.fl_str_mv |
CAVALCANTI, Anderson Pinheiro |
dc.contributor.advisor1.fl_str_mv |
FREITAS, Frederico Luiz Gonçalves de |
dc.contributor.advisor-co1.fl_str_mv |
MELLO, Rafael Ferreira Leite de |
contributor_str_mv |
FREITAS, Frederico Luiz Gonçalves de MELLO, Rafael Ferreira Leite de |
dc.subject.por.fl_str_mv |
Inteligência computacional Ambientes virtuais de aprendizagem |
topic |
Inteligência computacional Ambientes virtuais de aprendizagem |
description |
O feedback é um componente muito importante no processo de ensino-aprendizagem, pois ajuda o aluno a identificar as lacunas e avaliar o seu progresso no aprendizado. Em cursos a distância o feedback se torna ainda mais importante, pois é um dos recursos mais utilizados na interação entre professor e aluno, já que ambos estão separados fisicamente. No entanto, devido ao crescimento significativo da quantidade de alunos em cursos a distância, é difícil para os instrutores fornecer um feedback de alta qualidade. Nesse contexto, este trabalho tem como objetivo propor uma abordagem para analisar automaticamente os feedbacks fornecidos por professores em cursos online. Para isso, foram utilizados recursos linguísticos para extrair as características dos textos e algoritmos de aprendizagem de máquina para classificação. O objetivo é que os modelos de aprendizagem de máquina aprendam os padrões de bons feedbacks textuais que foram apresentados durante o treinamento. Foram realizados experimentos com base em duas teorias educacionais de feedback propostas na literatura utilizando diferentes classificadores, entre eles, o Random Forest, AdaBoost, XGBoost e o BERT (Bidirectional Encoder Representations from Transformers). Além de verificar qual algoritmo obtém os melhores resultados, também propomos a análise de quais as características são mais relevantes para cada classificador usando a medida Mean Decrease Gini (MDG) e o método eXplainable Artificial Intelligence (XAI). Os experimentos seguiram uma sequência de análise de cada classificador, começando pelo Random Forest e com base nos resultados obtidos, outros classificadores eram analisados com o objetivo de melhorar a acurácia do modelo. Os resultados obtidos demostram uma boa acurácia e os modelos gerados podem ser utilizados integrados em sistemas educacionais para ajudar o professor a fornecer um bom feedback ao aluno, onde a ferramenta apresentará quais os níveis de feedback e boas práticas de feedback o texto do professor possui, e com base nessa informação ele irá ajustar o seu texto para conseguir atingir o maior número de boas práticas. |
publishDate |
2022 |
dc.date.issued.fl_str_mv |
2022-12-14 |
dc.date.accessioned.fl_str_mv |
2023-03-23T17:06:55Z |
dc.date.available.fl_str_mv |
2023-03-23T17:06:55Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
CAVALCANTI, Anderson Pinheiro. Análise automática de feedback em ambientes virtuais de aprendizagem. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/49465 |
identifier_str_mv |
CAVALCANTI, Anderson Pinheiro. Análise automática de feedback em ambientes virtuais de aprendizagem. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022. |
url |
https://repositorio.ufpe.br/handle/123456789/49465 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/embargoedAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
embargoedAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
dc.publisher.initials.fl_str_mv |
UFPE |
dc.publisher.country.fl_str_mv |
Brasil |
publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
instname_str |
Universidade Federal de Pernambuco (UFPE) |
instacron_str |
UFPE |
institution |
UFPE |
reponame_str |
Repositório Institucional da UFPE |
collection |
Repositório Institucional da UFPE |
bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/49465/1/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdf https://repositorio.ufpe.br/bitstream/123456789/49465/3/license.txt https://repositorio.ufpe.br/bitstream/123456789/49465/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/49465/4/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdf.txt https://repositorio.ufpe.br/bitstream/123456789/49465/5/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdf.jpg |
bitstream.checksum.fl_str_mv |
c0f86763054eb8b25c231e50cdbe463d 5e89a1613ddc8510c6576f4b23a78973 e39d27027a6cc9cb039ad269a5db8e34 ff27a635f5952a017b18e1283ac5ea32 48296a43f3c7e83fa9d27c55a7db676d |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
repository.mail.fl_str_mv |
attena@ufpe.br |
_version_ |
1802310716902866944 |