Automatic Generation of Multiple Choice Questions

Detalhes bibliográficos
Autor(a) principal: Matos, Renato Miguel Francisco de
Data de Publicação: 2022
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/102156
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_3a0bde588ba03e18691074710e88000a
oai_identifier_str oai:estudogeral.uc.pt:10316/102156
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Automatic Generation of Multiple Choice QuestionsGeração Automática de Perguntas de Escolha MúltiplaProcessamento de Linguagem NaturalPerguntas de Escolha MúltiplaGeração Automática de PerguntasSeleção de DistratoresAbordagens baseadas em Regras e em TransformersNatural Language ProcessingMultiple Choice QuestionsAutomatic Question GenerationDistractor SelectionApproaches based on Rules and TransformersDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaCom a tecnologia a assumir um papel cada vez mais predominante nas nossas atividades diárias, surgem novas oportunidades e desafios. As novas ferramentas tecnológicas têm sido utilizadas com sucesso em contexto educacional há já algum tempo, sendo um auxiliar para professores, educadores e formadores na transmissão de conhecimento. No entanto, ainda existem tarefas que podem beneficiar de novos desenvolvimentos, como é o caso da criação de perguntas. O desenvolvimento de uma ferramenta complementar para auxiliar na geração de perguntas poderia diminuir o esforço relacionado a esta tarefa e economizar tempo valioso, além de potencialmente fornecer a quem aprende uma nova maneira de aprender novos conteúdos ou revisitar conteúdos antigos.Neste trabalho, exploramos várias técnicas de Processamento de Linguagem Natural para a tarefa de Geração Automática de Perguntas de Múltipla Escolha. Tendo em conta que perguntas de múltipla escolha são compostas por mais de uma parte, nomeadamente o texto da pergunta e as respostas incorretas, são necessárias várias etapas. Guiando-nos por uma pipeline composta por Pré-processamento, Seleção de Respostas, Geração de Perguntas e Seleção de Respostas Incorretas, desenvolvemos várias abordagens para gerar os resultados pretendidos. Alguns dos métodos utilizados são mais convencionais, envolvendo análise linguística ou regras para reorganizar frases, enquanto outros, como os Transformers, são baseados em modelos treinados e disponibilizados por outros pesquisadores para a tarefa de Geração de Perguntas. Descrevemos a base teórica dos métodos e como eles foram implementados neste trabalho. Para ajudar no desenvolvimento e na avaliação das abordagens implementadas, recorremos a métricas de avaliação automática e baseadas em análise humana.O sistema resultante foi capaz de integrar vários métodos para realizar cada uma das subtarefas que definimos como necessárias para gerar perguntas de múltipla escolha. Algumas das abordagens apresentam resultados positivos, sendo capazes de criar perguntas de boa qualidade e abrangência que podem ser usadas como ponto de partida para criar testes ou questionários sem a necessidade de grande intervenção humana.With technology taking a more prevalent role in our daily activities, new opportunities and challenges emerge. New technological tools have been successfully used in the educational context for some time now, facilitating teachers, educators and trainers in the transmission of knowledge. However, there are still tasks that can take advantage of these developments, as is the case of the creation of questions. The development of technology as a complementary tool to aid in question generation can decrease the effort related to this task and save valuable time, as well as potentially provide to those who are learning a new tool to learn new contents or revisit old contents.In this work, we explore multiple Natural Language Processing techniques for the task of Automatic Generation of Multiple Choice Questions. Given that multiple choice questions are composed of more than one part, namely the stem (text of the question) and the distractors (incorrect answers), this involves multiple steps. Guided by a pipeline composed of Pre-processing, Answer Selection, Question Generation and Distractor Selection, we developed various approaches to generate the intended results. Some of the methods used are more conventional, involving linguistic analysis or rules to rearrange sentences, while others, such as the Transformers, are based on available models trained by other researchers for the task of Question Generation. We describe the background of the methods and how they were implemented in this work. To help in the development and in evaluation of the approaches implemented, we resorted to automatic and human evaluation metrics.The resulting system was able to integrate various methods to perform each of the sub-steps we defined as necessary to generate multiple choice questions. Some of the approaches present positive results, standing as capable of creating questions of good quality and coverage that can be used as a starting point to create tests or questionnaires without the need for major human intervention.Universidade de Coimbra - This work was partially funded by the project SmartEDU (CENTRO-01-0247-FEDER-072620), co-financed by the European Regional Development Fund (FEDER), through Portugal 2020 (PT2020)2022-09-14info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/102156http://hdl.handle.net/10316/102156TID:203062639engMatos, Renato Miguel Francisco deinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-09-27T20:41:50Zoai:estudogeral.uc.pt:10316/102156Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:19:12.686504Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Automatic Generation of Multiple Choice Questions
Geração Automática de Perguntas de Escolha Múltipla
title Automatic Generation of Multiple Choice Questions
spellingShingle Automatic Generation of Multiple Choice Questions
Matos, Renato Miguel Francisco de
Processamento de Linguagem Natural
Perguntas de Escolha Múltipla
Geração Automática de Perguntas
Seleção de Distratores
Abordagens baseadas em Regras e em Transformers
Natural Language Processing
Multiple Choice Questions
Automatic Question Generation
Distractor Selection
Approaches based on Rules and Transformers
title_short Automatic Generation of Multiple Choice Questions
title_full Automatic Generation of Multiple Choice Questions
title_fullStr Automatic Generation of Multiple Choice Questions
title_full_unstemmed Automatic Generation of Multiple Choice Questions
title_sort Automatic Generation of Multiple Choice Questions
author Matos, Renato Miguel Francisco de
author_facet Matos, Renato Miguel Francisco de
author_role author
dc.contributor.author.fl_str_mv Matos, Renato Miguel Francisco de
dc.subject.por.fl_str_mv Processamento de Linguagem Natural
Perguntas de Escolha Múltipla
Geração Automática de Perguntas
Seleção de Distratores
Abordagens baseadas em Regras e em Transformers
Natural Language Processing
Multiple Choice Questions
Automatic Question Generation
Distractor Selection
Approaches based on Rules and Transformers
topic Processamento de Linguagem Natural
Perguntas de Escolha Múltipla
Geração Automática de Perguntas
Seleção de Distratores
Abordagens baseadas em Regras e em Transformers
Natural Language Processing
Multiple Choice Questions
Automatic Question Generation
Distractor Selection
Approaches based on Rules and Transformers
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2022
dc.date.none.fl_str_mv 2022-09-14
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/102156
http://hdl.handle.net/10316/102156
TID:203062639
url http://hdl.handle.net/10316/102156
identifier_str_mv TID:203062639
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134086329008128

Registros relacionados