Avaliação de atividades de programação submetidas em MOOC com emprego de técnicas de visualização

• Autor(a) principal: Nakashima, Emerson Yudi
• Data de Publicação: 2017
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
• Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/6016
• topic: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO; Programação (Computadores); Mineração de dados (Computação); Ensino via Web; Computer programming; Data mining; Web-based instruction

Contexto: Em disciplinas de algoritmos ou programação, é necessário criar e implementar uma solução para um problema. Entretanto, há a possibilidade de possuir diversas formas de solucionar o problema e, consequentemente, formas de implementações. Desta forma, a quantidade de implementações possíveis é vasta, dificultando a avaliação delas pelo professor quanto ao custo, tempo e qualidade da avaliação. Para agravar essa dificuldade, cursos massivos, abertos e online (MOOC) possuem uma grande quantidade de usuários, inviabilizando a correção individual das submissões. Objetivo: O objetivo deste trabalho é propor subsídios para a avaliação de programas submetidos em disciplinas introdutórias à computação, utilizando técnicas de mineração e visualização de dados para construir e apresentar agrupamentos de submissões semelhantes. Os subsídios propostos consistem na utilização de ferramentas para extração de características, padronização no armazenamento dessas características e a utilização de técnicas de agrupamento e visualização, com o auxílio de uma ferramenta. Método: A primeira etapa consistiu na identificação das características que podem ser extraídas conforme o tipo de análise utilizado: características estáticas referentes a estilo de escrita e complexidade. Após a identificação, foi necessário o desenvolvimento de ferramentas para coletar tais medidas de forma que pudéssemos utilizá-las para realizar a projeção e visualização. Com isso, desenvolvemos uma ferramenta para analisar as informações disponíveis, realizando os agrupamentos e gerando uma visualização dos programas submetidos. Para avaliar a visualização de submissões com auxílio da ferramenta, utilizamos uma base de dados de implementações com soluções de cinco problemas distintos. A avaliação ocorreu em duas etapas: mediante a qualidade das visualizações, considerando as técnicas de mineração e visualização de dados; e verificando o feedback da ferramenta para o professor por meio de um questionário. Resultados: Com uma base de dados de 152 implementações, obtivemos boa avaliação da qualidade dos agrupamentos. Quanto à qualidade da visualização para fins de avaliação das submissões, realizamos um treinamento com a apresentação dos critérios de avaliação e da ferramenta. O estudo procedeu da utilização da ferramenta ScienceView, criando uma nova base de dados, e dividindo as correções em 2 grupos: um grupo realizara a correção tradicional e o outro utilizara a ferramenta para auxiliar na correção. Em seguida, esses dois grupos inverteram o modo como foi realizado as correções. Ao final do estudo, os voluntários avaliaram o treinamento e a ferramenta positivamente. Conclusões: Considerando a preservação de vizinhança, a qualidade da projeção é compatível com outras projeções feitas com a técnica LSP e similares, apresentando resultados similares relatados na literatura. Em relação ao emprego de visualização para avaliação de programas, os resultados foram limitados devido ao emprego pouco eficiente da ferramenta e dos agrupamentos. No entanto, considerando os agrupamentos que continham programas avaliados, existem indícios de que a visualização pode ser utilizada com êxito e, se melhorarmos o treinamento, poderemos alcançar claramente nosso objetivo. Ainda assim, os participantes avaliaram como positiva a utilização da ferramenta. Como trabalho futuro, serão investigadas a utilização de outras características das submissões e o aperfeiçoamento da usabilidade e treinamento quanto ao uso da ferramenta.