Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples
En una evaluación del desempeño se crea un producto o se desarrolla un proceso, que es evaluado por varios calificadores. El Modelo de Rasch de Facetas Múltiples (MRFM), extensión del modelo de Rasch, cuantifica diversos atributos asociados a la calidad de la medición en tales evaluaciones, incluyen...
- Autores:
-
Hernández-Ureña, Olman
Montero-Rojas, Eiliana
- Tipo de recurso:
- Article of journal
- Fecha de publicación:
- 2023
- Institución:
- Universidad Católica de Colombia
- Repositorio:
- RIUCaC - Repositorio U. Católica
- Idioma:
- spa
- OAI Identifier:
- oai:repository.ucatolica.edu.co:10983/30133
- Acceso en línea:
- https://doi.org/10.14718/RevArq.2023.25.4040
- Palabra clave:
- architecture
aptitude test
calibration
evaluation
measurement methods
Rasch measurement
performance appraisal
arquitectura
calibración
evaluación
evaluación de desempeño
método de evaluación
modelo de Rasch
prueba de aptitud
- Rights
- openAccess
- License
- Olman Hernández-Ureña, Eiliana Montero-Rojas - 2023
| Summary: | En una evaluación del desempeño se crea un producto o se desarrolla un proceso, que es evaluado por varios calificadores. El Modelo de Rasch de Facetas Múltiples (MRFM), extensión del modelo de Rasch, cuantifica diversos atributos asociados a la calidad de la medición en tales evaluaciones, incluyendo la concordancia entre calificadores, cualidad esencial para la validez. Los datos provienen de una prueba de desempeño aplicada con propósitos de selección en la Escuela de Arquitectura de la Universidad de Costa Rica (UCR). Se analizaron las aplicaciones de la prueba del 2015 al 2018, cada una tenía entre 600 y 800 examinados. Cada producto fue evaluado por tres calificadores, y los equipos de calificadores tenían entre 12 y 15 miembros. Los tres primeros años mostraron alto grado de variabilidad entre las severidades de los calificadores, dispersándose más de 2 logits, en la escala de Rasch. En 2018 se introdujeron modificaciones para mejorar la concordancia entre los calificadores, y los análisis correspondientes mostraron una disminución relevante en la dispersión de las severidades, con un rango de 1.09 logits. El estudio ilustra los beneficios de este modelo para analizar y mejorar la calidad técnica de una evaluación del desempeño de alto impacto. |
|---|