Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples

En una evaluación del desempeño se crea un producto o se desarrolla un proceso, que es evaluado por varios calificadores. El Modelo de Rasch de Facetas Múltiples (MRFM), extensión del modelo de Rasch, cuantifica diversos atributos asociados a la calidad de la medición en tales evaluaciones, incluyen...

Full description

Autores:
Hernández-Ureña, Olman
Montero-Rojas, Eiliana
Tipo de recurso:
Article of journal
Fecha de publicación:
2023
Institución:
Universidad Católica de Colombia
Repositorio:
RIUCaC - Repositorio U. Católica
Idioma:
spa
OAI Identifier:
oai:repository.ucatolica.edu.co:10983/30133
Acceso en línea:
https://doi.org/10.14718/RevArq.2023.25.4040
Palabra clave:
architecture
aptitude test
calibration
evaluation
measurement methods
Rasch measurement
performance appraisal
arquitectura
calibración
evaluación
evaluación de desempeño
método de evaluación
modelo de Rasch
prueba de aptitud
Rights
openAccess
License
Olman Hernández-Ureña, Eiliana Montero-Rojas - 2023
id UCATOLICA2_4adf08cf5421ebfb0001d59ec6cb3564
oai_identifier_str oai:repository.ucatolica.edu.co:10983/30133
network_acronym_str UCATOLICA2
network_name_str RIUCaC - Repositorio U. Católica
repository_id_str
dc.title.spa.fl_str_mv Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples
dc.title.translated.eng.fl_str_mv Validation of a standardized performance test for selection of Architecture students with the Many-Facet Rasch Measurement Model
title Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples
spellingShingle Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples
architecture
aptitude test
calibration
evaluation
measurement methods
Rasch measurement
performance appraisal
arquitectura
calibración
evaluación
evaluación de desempeño
método de evaluación
modelo de Rasch
prueba de aptitud
title_short Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples
title_full Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples
title_fullStr Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples
title_full_unstemmed Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples
title_sort Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples
dc.creator.fl_str_mv Hernández-Ureña, Olman
Montero-Rojas, Eiliana
dc.contributor.author.spa.fl_str_mv Hernández-Ureña, Olman
Montero-Rojas, Eiliana
dc.subject.eng.fl_str_mv architecture
aptitude test
calibration
evaluation
measurement methods
Rasch measurement
performance appraisal
topic architecture
aptitude test
calibration
evaluation
measurement methods
Rasch measurement
performance appraisal
arquitectura
calibración
evaluación
evaluación de desempeño
método de evaluación
modelo de Rasch
prueba de aptitud
dc.subject.spa.fl_str_mv arquitectura
calibración
evaluación
evaluación de desempeño
método de evaluación
modelo de Rasch
prueba de aptitud
description En una evaluación del desempeño se crea un producto o se desarrolla un proceso, que es evaluado por varios calificadores. El Modelo de Rasch de Facetas Múltiples (MRFM), extensión del modelo de Rasch, cuantifica diversos atributos asociados a la calidad de la medición en tales evaluaciones, incluyendo la concordancia entre calificadores, cualidad esencial para la validez. Los datos provienen de una prueba de desempeño aplicada con propósitos de selección en la Escuela de Arquitectura de la Universidad de Costa Rica (UCR). Se analizaron las aplicaciones de la prueba del 2015 al 2018, cada una tenía entre 600 y 800 examinados. Cada producto fue evaluado por tres calificadores, y los equipos de calificadores tenían entre 12 y 15 miembros. Los tres primeros años mostraron alto grado de variabilidad entre las severidades de los calificadores, dispersándose más de 2 logits, en la escala de Rasch. En 2018 se introdujeron modificaciones para mejorar la concordancia entre los calificadores, y los análisis correspondientes mostraron una disminución relevante en la dispersión de las severidades, con un rango de 1.09 logits. El estudio ilustra los beneficios de este modelo para analizar y mejorar la calidad técnica de una evaluación del desempeño de alto impacto.
publishDate 2023
dc.date.accessioned.none.fl_str_mv 2023-01-16 00:00:00
dc.date.available.none.fl_str_mv 2023-01-16 00:00:00
dc.date.issued.none.fl_str_mv 2023-01-16
dc.type.spa.fl_str_mv Artículo de revista
dc.type.coar.fl_str_mv http://purl.org/coar/resource_type/c_2df8fbb1
dc.type.coar.spa.fl_str_mv http://purl.org/coar/resource_type/c_6501
dc.type.coarversion.spa.fl_str_mv http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.content.spa.fl_str_mv Text
dc.type.driver.spa.fl_str_mv info:eu-repo/semantics/article
dc.type.local.eng.fl_str_mv Journal article
dc.type.redcol.spa.fl_str_mv http://purl.org/redcol/resource_type/ARTREF
dc.type.version.spa.fl_str_mv info:eu-repo/semantics/publishedVersion
format http://purl.org/coar/resource_type/c_6501
status_str publishedVersion
dc.identifier.doi.none.fl_str_mv 10.14718/RevArq.2023.25.4040
dc.identifier.eissn.none.fl_str_mv 2357-626X
dc.identifier.issn.none.fl_str_mv 1657-0308
dc.identifier.url.none.fl_str_mv https://doi.org/10.14718/RevArq.2023.25.4040
identifier_str_mv 10.14718/RevArq.2023.25.4040
2357-626X
1657-0308
url https://doi.org/10.14718/RevArq.2023.25.4040
dc.language.iso.spa.fl_str_mv spa
language spa
dc.relation.bitstream.none.fl_str_mv https://revistadearquitectura.ucatolica.edu.co/article/download/4040/4475
https://revistadearquitectura.ucatolica.edu.co/article/download/4040/4576
dc.relation.citationedition.spa.fl_str_mv Núm. 1 , Año 2023 : enero - junio
dc.relation.citationendpage.none.fl_str_mv 11
dc.relation.citationissue.spa.fl_str_mv 1
dc.relation.citationstartpage.none.fl_str_mv 3
dc.relation.citationvolume.spa.fl_str_mv 25
dc.relation.ispartofjournal.spa.fl_str_mv Revista de Arquitectura (Bogotá)
dc.relation.references.spa.fl_str_mv Andrich, D. (1978). A rating formulation for ordered response categories. Psychometrika, 43(4), 561-573. https://www.springer.com/journal/11336
Eckes, T. (2011). Many- Facet Rash Measurement. In Grotjahn, R and Sigott, G (Eds.), Introduction to Many-Facet Rasch Measurement (2nd ed.). Peter Lang. https://www.researchgate.net/publication/228465956_Many-facet_Rasch_measurement
Hernández, O. (2015). Informe PH, Prueba de Habilidad 2014 - ingreso 2015. Escuela de Arquitectura-UCR. [2014 Skills Test Report for 2015 admission. Architecture School. University of Costa Rica]. https://issuu.com/olmanarq/docs/informe_ph-2014_arquis
Hernández, O. (2018). Informe PH, Prueba de Habilidad 2017 - ingreso 2018. Escuela de Arquitectura-UCR. [2017 Skills Test Report for 2018 admission. Architecture School. University of Costa Rica]. https://issuu.com/olmanarq/docs/informe_ph-2017
Lane, S. & Stone, C.A. (2006). Performance Assessment. In R. L. Brennan (Ed.), Educational Measurement (pp. 387-431). Praeger.
Linacre, J. M. (1989). Many-facet Rasch measurement. MESA Press.
Linacre, J. M. & Wright, B. D. (2002). Construction of measures from many-facet data. Journal of Applied Measurement, 3(4), 486-512. http://jampress.org/
Linacre, J. M. (2010). A user’s guide to Facets: Rasch model computer programs. Winsteps.
Linacre, J. M. (2015). Facet Rasch Measurement computer program (Version 3.71.3). Winsteps.
Martínez, R. (2010). La evaluación del desempeño. [Performance assessment]. Papeles del Psicólogo, 31(1), 85-96. http://www.papelesdelpsicologo.es/pdf/1799.pdf
Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149-174. https://doi.org/10.1007/BF02296272
Myford, C. M. & Wolfe, E. W. (2004). Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part I. In E. V. Smith & R. M. Smith (Eds.), Introduction to Rasch Measurement (pp. 460-517). JAM Press.
Prieto, G. (2015). Análisis de un test de desempeño en expresión escrita mediante el modelo de MFRM. [Analysis of a performance test in written expression using the MFRM model]. Actualidades en Psicología, 29(119), 03-19. http://dx.doi.org/10.15517/ap.v29i119.19822
Prieto, G. & Nieto, E. (2014). Analysis of rater severity on written expression exam using Many Faceted Rasch Measurement. Psicológica, 35(2), 385-397. https://www.researchgate.net/publication/288462542_Analysis_of_rater_severity_on_written_expression_exam_using_Many_Faceted_Rasch_Measurement
Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. MESA Press. https://doi.org/10.1177/014662168100500413
dc.rights.spa.fl_str_mv Olman Hernández-Ureña, Eiliana Montero-Rojas - 2023
dc.rights.accessrights.spa.fl_str_mv info:eu-repo/semantics/openAccess
dc.rights.coar.spa.fl_str_mv http://purl.org/coar/access_right/c_abf2
dc.rights.creativecommons.spa.fl_str_mv Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
dc.rights.uri.spa.fl_str_mv https://creativecommons.org/licenses/by-nc/4.0
rights_invalid_str_mv Olman Hernández-Ureña, Eiliana Montero-Rojas - 2023
http://purl.org/coar/access_right/c_abf2
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
https://creativecommons.org/licenses/by-nc/4.0
eu_rights_str_mv openAccess
dc.format.mimetype.spa.fl_str_mv text/html
application/pdf
dc.publisher.spa.fl_str_mv Universidad Católica de Colombia
dc.source.spa.fl_str_mv https://revistadearquitectura.ucatolica.edu.co/article/view/4040
institution Universidad Católica de Colombia
bitstream.url.fl_str_mv https://repository.ucatolica.edu.co/bitstreams/a2e2dbb5-616a-4261-b698-701d02f1006a/download
bitstream.checksum.fl_str_mv dc8852982742bcd51c9f04bf78658f46
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositorio Institucional Universidad Católica de Colombia - RIUCaC
repository.mail.fl_str_mv bdigital@metabiblioteca.com
_version_ 1808402527649005568
spelling Hernández-Ureña, Olman65029636-d1b1-4939-bde0-efeea59728ebMontero-Rojas, Eilianad6bbe34c-030b-41d0-8b65-52db4295b0e32023-01-16 00:00:002023-01-16 00:00:002023-01-16En una evaluación del desempeño se crea un producto o se desarrolla un proceso, que es evaluado por varios calificadores. El Modelo de Rasch de Facetas Múltiples (MRFM), extensión del modelo de Rasch, cuantifica diversos atributos asociados a la calidad de la medición en tales evaluaciones, incluyendo la concordancia entre calificadores, cualidad esencial para la validez. Los datos provienen de una prueba de desempeño aplicada con propósitos de selección en la Escuela de Arquitectura de la Universidad de Costa Rica (UCR). Se analizaron las aplicaciones de la prueba del 2015 al 2018, cada una tenía entre 600 y 800 examinados. Cada producto fue evaluado por tres calificadores, y los equipos de calificadores tenían entre 12 y 15 miembros. Los tres primeros años mostraron alto grado de variabilidad entre las severidades de los calificadores, dispersándose más de 2 logits, en la escala de Rasch. En 2018 se introdujeron modificaciones para mejorar la concordancia entre los calificadores, y los análisis correspondientes mostraron una disminución relevante en la dispersión de las severidades, con un rango de 1.09 logits. El estudio ilustra los beneficios de este modelo para analizar y mejorar la calidad técnica de una evaluación del desempeño de alto impacto.A performance assessment involves examinees creating a product or developing a process, which is evaluated by several raters. The Multi-faceted Rasch Measurement Model (MFRM), an extension of the Rasch Model, allows quantifying diverse attributes associated with measurement quality in this type of assessments, including the degree of inter-rater agreement (inter-rater reliability), which is an essential requirement for validity. Data from a performance test, currently applied for selection purposes in the undergraduate program of the School of Architecture at the University of Costa Rica (UCR), were analyzed with MFRM. Four data sets were used, from 2015 to 2018 test administrations, each one having between 600 and 800 applicants. Each examinee’s product was evaluated by three raters. The rater teams had between 12 and 15 members. The first three years showed a high degree of variability between raters’ severities, extending over 2 logits on the Rasch Scale. Modifications were introduced in the 2018 application, aiming to improve inter-rater reliability. The corresponding analyses showed a relevant decrease in the dispersions of raters’ severities, with a range of 1.09 logits. The study illustrates the benefits of the MFRM Model for analyzing rater data and improving the technical quality of a high- stakes performance assessment.text/htmlapplication/pdf10.14718/RevArq.2023.25.40402357-626X1657-0308https://doi.org/10.14718/RevArq.2023.25.4040spaUniversidad Católica de Colombiahttps://revistadearquitectura.ucatolica.edu.co/article/download/4040/4475https://revistadearquitectura.ucatolica.edu.co/article/download/4040/4576Núm. 1 , Año 2023 : enero - junio111325Revista de Arquitectura (Bogotá)Andrich, D. (1978). A rating formulation for ordered response categories. Psychometrika, 43(4), 561-573. https://www.springer.com/journal/11336Eckes, T. (2011). Many- Facet Rash Measurement. In Grotjahn, R and Sigott, G (Eds.), Introduction to Many-Facet Rasch Measurement (2nd ed.). Peter Lang. https://www.researchgate.net/publication/228465956_Many-facet_Rasch_measurementHernández, O. (2015). Informe PH, Prueba de Habilidad 2014 - ingreso 2015. Escuela de Arquitectura-UCR. [2014 Skills Test Report for 2015 admission. Architecture School. University of Costa Rica]. https://issuu.com/olmanarq/docs/informe_ph-2014_arquisHernández, O. (2018). Informe PH, Prueba de Habilidad 2017 - ingreso 2018. Escuela de Arquitectura-UCR. [2017 Skills Test Report for 2018 admission. Architecture School. University of Costa Rica]. https://issuu.com/olmanarq/docs/informe_ph-2017Lane, S. & Stone, C.A. (2006). Performance Assessment. In R. L. Brennan (Ed.), Educational Measurement (pp. 387-431). Praeger.Linacre, J. M. (1989). Many-facet Rasch measurement. MESA Press.Linacre, J. M. & Wright, B. D. (2002). Construction of measures from many-facet data. Journal of Applied Measurement, 3(4), 486-512. http://jampress.org/Linacre, J. M. (2010). A user’s guide to Facets: Rasch model computer programs. Winsteps.Linacre, J. M. (2015). Facet Rasch Measurement computer program (Version 3.71.3). Winsteps.Martínez, R. (2010). La evaluación del desempeño. [Performance assessment]. Papeles del Psicólogo, 31(1), 85-96. http://www.papelesdelpsicologo.es/pdf/1799.pdfMasters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149-174. https://doi.org/10.1007/BF02296272Myford, C. M. & Wolfe, E. W. (2004). Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part I. In E. V. Smith & R. M. Smith (Eds.), Introduction to Rasch Measurement (pp. 460-517). JAM Press.Prieto, G. (2015). Análisis de un test de desempeño en expresión escrita mediante el modelo de MFRM. [Analysis of a performance test in written expression using the MFRM model]. Actualidades en Psicología, 29(119), 03-19. http://dx.doi.org/10.15517/ap.v29i119.19822Prieto, G. & Nieto, E. (2014). Analysis of rater severity on written expression exam using Many Faceted Rasch Measurement. Psicológica, 35(2), 385-397. https://www.researchgate.net/publication/288462542_Analysis_of_rater_severity_on_written_expression_exam_using_Many_Faceted_Rasch_MeasurementRasch, G. (1960). Probabilistic models for some intelligence and attainment tests. MESA Press. https://doi.org/10.1177/014662168100500413Olman Hernández-Ureña, Eiliana Montero-Rojas - 2023info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.https://creativecommons.org/licenses/by-nc/4.0https://revistadearquitectura.ucatolica.edu.co/article/view/4040architectureaptitude testcalibrationevaluationmeasurement methodsRasch measurementperformance appraisalarquitecturacalibraciónevaluaciónevaluación de desempeñométodo de evaluaciónmodelo de Raschprueba de aptitudValidación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas MúltiplesValidation of a standardized performance test for selection of Architecture students with the Many-Facet Rasch Measurement ModelArtículo de revistahttp://purl.org/coar/resource_type/c_6501http://purl.org/coar/resource_type/c_2df8fbb1http://purl.org/coar/version/c_970fb48d4fbd8a85Textinfo:eu-repo/semantics/articleJournal articlehttp://purl.org/redcol/resource_type/ARTREFinfo:eu-repo/semantics/publishedVersionPublicationOREORE.xmltext/xml2731https://repository.ucatolica.edu.co/bitstreams/a2e2dbb5-616a-4261-b698-701d02f1006a/downloaddc8852982742bcd51c9f04bf78658f46MD5110983/30133oai:repository.ucatolica.edu.co:10983/301332023-12-19 14:58:21.607https://creativecommons.org/licenses/by-nc/4.0Olman Hernández-Ureña, Eiliana Montero-Rojas - 2023https://repository.ucatolica.edu.coRepositorio Institucional Universidad Católica de Colombia - RIUCaCbdigital@metabiblioteca.com

Publicaciones similares