Validity evidence in the admission process to a medical school in Mexico
Evidencias de validez del proceso de admisión a una escuela de medicina en México
| dc.creator | Carrillo-Avalos, Blanca Ariadna | |
| dc.creator | Leenen, Iwin | |
| dc.creator | Trejo-Mejía, Juan Andrés | |
| dc.creator | Sánchez Mendiola, Melchor | |
| dc.date | 2024-04-01 | |
| dc.date.accessioned | 2024-06-24T14:03:00Z | |
| dc.date.available | 2024-06-24T14:03:00Z | |
| dc.identifier | http://riem.facmed.unam.mx/index.php/riem/article/view/1346 | |
| dc.identifier | 10.22201/fm.20075057e.2024.50.23546 | |
| dc.identifier.uri | https://repositorioslatinoamericanos.uchile.cl/handle/2250/9498332 | |
| dc.description | Introduction: Medical school admission processes need to demonstrate the validity of their scores’ interpretations, since they are high-stakes assessments<<. Objective: To apply an integrative model using Messick’s and Kane’s frameworks to obtain validity evidence for a medical school admission process. Method: An analytical observational study was performed at the Autonomous University of San Luis Potosí Faculty of Medicine in Mexico, with the 2013 and 2014 cohorts. The admission process included a psychometric test (PT), a general knowledge test (KT), and EXANI-II. The model was applied in two steps: 1) uses and interpretations argument, and 2) validity argument, which has three stages: instrumental validity, interpretation and decision verification, and action usefulness. Hypotheses were established at each stage using Kane’s inferences, which were supported using Messick’s sources of evidence. Results: The results of 1,373 applicants from 2013 and 1,554 from 2014 were analyzed, as well as the academic performance of the 145 students admitted in each cohort. A general intelligence factor (g) was identified as influencing the results of admission process. KT explains 15% of the variance in the first-year grades (2013), PT and EXANI-II have no impact on first-year’s academic performance (2013 and 2014). There was a correlation among some subcomponents that measure a similar construct. There was a difference in Biology results (KT) between men and women. Students’ degree of satisfaction with the admission process is adequate. Discussion and conclusions: The sources of validity evidence provide relevant information to support and improve the admission process, more data and an interdisciplinary team to retrieve more sources of quality evidence are needed. It is recommended to use well-defined frameworks in these processes and plan data collection and retrieval using these models. | en-US |
| dc.description | Introducción: Los procesos de admisión a las escuelas de medicina deben demostrar la validez de la interpretación de sus resultados al ser evaluaciones de alto impacto. Objetivo: Aplicar un modelo que integra los marcos de validez de Messick y Kane para obtener evidencias de validez del proceso de admisión en una escuela de medicina. Método: Se realizó un estudio observacional analítico en la Facultad de Medicina de la Universidad Autónoma de San Luis Potosí de México, en las generaciones 2013 y 2014. El proceso de admisión incluye examen psicométrico (EP), examen de conocimientos (EC) y EXANI-II. Se realizó en dos pasos: 1) argumento de usos e interpretaciones y 2) argumento de validez, conformado por tres etapas: validez instrumental, verificación de la interpretación y la decisión, utilidad de las acciones. En cada etapa se establecieron hipótesis sobre las inferencias de acuerdo a Kane, para fundamentarse con las fuentes de Messick. Resultados: Se analizaron resultados de 1,373 aspirantes en 2013; y 1,554 de 2014; así como los 145 alumnos admitidos en cada generación. Se identificó un factor g de inteligencia, que tiene repercusión en los resultados del proceso de admisión. El EC explica el 15% de la varianza de las calificaciones del primer año (2013), el EP y el EXANI-II no tienen influencia en el primer año de la carrera (2013 y 2014). Hay correlación entre algunos subcomponentes que miden un constructo semejante. Existe diferencia en los resultados de Biología (EC) entre hombres y mujeres (2014). El nivel de satisfacción de los alumnos acerca del proceso es bueno. Discusión y conclusiones: Las fuentes de evidencia de validez proporcionaron información relevante para informar y mejorar el proceso de admisión, se requieren más datos y un equipo interdisciplinario para recabar más tipos de evidencias y de mejor calidad. Se recomienda utilizar marcos de referencia claros en estos procesos y planear la recolección de datos usando dichos marcos. | es-ES |
| dc.format | application/pdf | |
| dc.format | text/html | |
| dc.language | spa | |
| dc.publisher | Universidad Nacional Autónoma de México | es-ES |
| dc.relation | http://riem.facmed.unam.mx/index.php/riem/article/view/1346/1525 | |
| dc.relation | http://riem.facmed.unam.mx/index.php/riem/article/view/1346/1538 | |
| dc.source | Medical Education Research Journal; Vol 13 No 50 (2024): Research in Medical Education; 37-55 | en-US |
| dc.source | Investigación en Educación Médica; Vol. 13 Núm. 50 (2024): Investigación en Educación Médica; 37-55 | es-ES |
| dc.source | 2007-5057 | |
| dc.source | 2007-865X | |
| dc.title | Validity evidence in the admission process to a medical school in Mexico | en-US |
| dc.title | Evidencias de validez del proceso de admisión a una escuela de medicina en México | es-ES |
| dc.type | info:eu-repo/semantics/article | |
| dc.type | info:eu-repo/semantics/publishedVersion | |
| dc.type | Peer review Process | en-US |
| dc.type | Artículo evaluado por pares, doble ciego | es-ES |