Value-added in higher education: ordinary least squares and quantile regression for a Colombian case

Abstract

Colombia applies two mandatory National State tests every year. The first, known as Saber 11, is applied to students who finish the high school cycle, whereas the second, called Saber Pro, is applied to students who finish the higher education cycle. The result obtained by a student on the Saber 11 exam along with his/her gender, and socioeconomic stratum are our independent variables while the Saber Pro outcome is our dependent variable.We compare the results of two statistical models for the Saber Pro exam. The first model, multi-lineal regression or ordinary least squares (OLS), produces an overall well fitted result but is highly inaccurate for some students. The second model, quantile regression (QR), weight the population according to their quantile groups. OLS minimizes the errors for the students whose Saber Pro result is close to the mean (a process known as estimation in the mean) while QR can estimate in the -quantile for every . We show that QR is more accurate than OLS and reveal the unknown behavior of the socioeconomic stratum, the gender, and the initial academic endowments (estimated by the Saber 11 exam) for each quantile group.

En el sistema educativo de Colombia se realizan dos exámenes nacionales obligatorios al año. El primero, conocido como Saber 11, está dirigido a los estudiantes que finalizan el bachillerato, mientras que el segundo, conocido como Saber Pro, evalúa a los estudiantes que terminan un estudio superior. En este estudio, el resultado obtenido por un estudiante en el examen Saber 11, junto con su género y estrato socioeconómico, son nuestras variables independientes, mientras que el resultado del examen Saber Pro es nuestra variable dependiente.Comparamos los resultados de dos modelos estadísticos para Saber Pro. El primer modelo, regresión multi-lineal o mínimos cuadrados (OLS, por sus siglas en inglés), produce un buen ajuste general pero es impreciso para ciertos estudiantes. El segundo modelo, regresión cuantílica (QR, por sus siglas en inglés), mide la población de acuerdo con su cuantil. El OLS minimiza los errores para los estudiantes cuyo resultado en Saber Pro está cercano a la media (proceso conocido como estimación en la media) mientras que el QR puede estimar un valor en el cuantil θ para cada 0 θ 1. Mostraremos que el QR es más preciso que el OLS y revelaremos el comportamiento desconocido del estrato socio económico, el género y la preparación académica inicial (estimada con el examen Saber 11) para cada cuantil.