Predicción automática de la dificultad de preguntas abiertas de respuesta corta con propósitos educativos

En la construcción de preguntas de evaluación, el evaluador se enfrenta al problema de elegir las preguntas más apropiadas para diferenciar a los estudiantes de acuerdo con su nivel de habilidad o conocimiento en el tema. Esta elección supone, de un lado, decidir sobre el tipo de pregunta que mejor se ajuste al objetivo buscado, y de otro, seleccionar preguntas con distintos niveles de dificultad que permitan diferenciar los niveles de conocimiento. En relación con el tipo de pregunta, se ha visto la necesidad de introducir las preguntas abiertas en las pruebas, en tanto que la pregunta cerrada, si bien se ha utilizado mucho, no permite medir satisfactoriamente dicho nivel por cuanto la capacidad cognitiva involucrada fundamentalmente en la búsqueda de la respuesta es el reconocimiento de uno de los rae como el elemento asociado a la pregunta. Con la pregunta abierta, en cambio, se evalúan capacidades cognitivas diferentes como la evocación. Para la selección de preguntas con distintos niveles de complejidad, el mayor problema al que se enfrenta el evaluador es precisamente conocer el grado de dificultad asociado a cada una de ellas, para lo cual regularmente, se realizan pilotajes para determinar el grado de dificultad de la pregunta de acuerdo con la calidad de la respuesta dada a cada pregunta por los estudiantes que participan. Todo ello, desde luego, implica altos costos económicos y riesgos de confidencialidad. Resulta necesario, entonces, encontrar un método de predicción automático de la dificultad de las preguntas abiertas y determinar su grado de fiabilidad. Este precisamente fue el objetivo de esta tesis. Para la construcción del modelo predictivo de la dificultad de las preguntas, se utilizó la base de datos de preguntas abiertas y respuestas de estudiantes calificadas SciEntsBank. Se extrajeron tanto manual como automáticamente 51 factores de los 196 ítems del corpus (textos de la pregunta, la respuesta de referencia y la demanda cognitiva). A partir de la combinación racional de los factores, se obtuvieron 10.200 características para cada ítem, y posteriormente se seleccionaron los mejores factores mediante el KBest, un método automático de selección de los mejores factores. A partir de ello, se predijo la dificultad de cada ítem mediante el uso de dos modelos de regresión. Luego de explorar automáticamente entre decenas de miles de modelos usando regresión lineal y máquinas de vectores de soporte, se encontró que el mejor modelo para predecir la dificultad, que oscila entre cero y uno, empleó solamente una de las 10.200 características, log(t6)/log(t{3): la división del logaritmo del número de palabras claves que solo están en la respuesta de referencia, entre el logaritmo del total de palabras claves en el ítem (pregunta y respuesta). Este constituye el aporte fundamental de esta tesis. El grado de error de este modelo estuvo alrededor de 0.16. Fue sorprendente el hallazgo de evidencia empírica de que las populares taxonomías de Bloom y Anderson no contribuyeron a modelar la dificultad del ítem de evaluación de pregunta abierta.

• Autores: Dueñas Luna, George Enrique
• Fecha de publicación: 2016
• Institución: Universidad Nacional de Colombia
• Repositorio: Universidad Nacional de Colombia
• Idioma: spa
• OAI Identifier: oai:repositorio.unal.edu.co:unal/57985
• Acceso en línea: https://repositorio.unal.edu.co/handle/unal/57985; http://bdigital.unal.edu.co/54495/
• Palabra clave: 37 Educación / Education; Preguntas abiertas; Dificultad del ítem; Taxonomía de Bloom; Taxonomía de Anderson; Predicción de la dificultad; Short-answer question; Item difficulty; Bloom's taxonomy; Anderson's taxonomy; Prediction of difficulty
• Rights: openAccess
• License: Atribución-NoComercial 4.0 Internacional