Complexidade versus dificuldade: Uma análise da sua correlação em questões de programação em juízes on-line

• Published in: Revista brasileira de informática na educação Vol. 32; pp. 22 - 49
• Main Authors: Fernandes, Jackson Celestino, Carvalho, Leandro Silva Galvão de, Oliveira, David Braga Fernandes de, Oliveira, Elaine Harada Teixeira de, Pereira, Filipe Dwan, Lauschner, Tanara
• Format: Journal Article
• Language: English
• Published: 16.01.2024
• ISSN: 1414-5685; 2317-6121
• DOI: 10.5753/rbie.2024.3587

Ambientes de correção automática de código são cada vez mais usados no processo de ensino-aprendizagem de disciplinas de programação. Porém, um problema frequentemente enfrentado pelos professores que usam tais ambientes é determinar a dificuldade das questões cadastradas. Este trabalho tem como objetivo realizar uma análise de correlação entre métricas de complexidade de código e a dificuldade enfrentada pelos alunos, de maneira que seja possível prever automaticamente o nível de dificuldade de uma questão apenas conhecendo seu modelo de solução. Este estudo foi dividido em três etapas: i) análise da correlação de Spearman entre métricas de complexidade (extraídas da questão) e de dificuldade (extraídas da interação do aluno com a questão); ii) predição da classe de dificuldade de questões por meio de modelos de aprendizado de máquina para classificação; e iii) predição de métricas de dificuldade usando modelos de regressão. Quanto ao item i), observou-se que 96% das correlações foram fracas ou inexistentes entre métricas individuais de complexidade de código e de dificuldade, 4% de casos de correlação moderada e nenhum caso de correlação forte. Para o item ii), o maior f1-score obtido foi de 88%, considerando classificação com dois níveis de dificuldade (“fácil” e “difícil”), e f1-score máximo de 67%, considerando classificação com três níveis (“fácil”, “médio” e “difícil”). Para o item iii), o melhor resultado obtido foi um coeficiente de determinação ajustado de 63%.