Estimación de efectos causales usando inferencia basada en el diseño para estudios observacionales que utilizan Propensity Score Matching

Abstract

Las técnicas de inferencia causal aplicadas a la evaluación estadística de los resultados de un experimento o estudio observacional constituyen una herramienta de vital importancia en la toma de decisiones en diferentes campos del saber común. Ejemplos naturales de este tipo de estudios son la evaluación del impacto de alguna intervención política o programa por parte del gobierno, o cuando se quiere evaluar el efecto de un nuevo tratamiento médico, entre otros tipos de estudios. Sin embargo, es común enfrentarse a problemas económicos, éticos o logísticos que restringen la posibilidad de asignar unidades a los tratamientos de manera estrictamente aleatoria (estudios cuasi-experimentales). Adicionalmente, en muchas ocasiones no existe la posibilidad de medir pos-tratamiento a todas las unidades en el estudio; razón por la cual es necesario realizar la selección de una muestra probabilística que en algunos casos utilizan diseños muestrales complejos con probabilidades de inclusión desiguales. Suponiendo ausencia de un proceso de aleatorización que garantice el balanceo en las covariables medibles y no medibles entre el grupo tratamiento y control, y bajo el escenario de trabajar con una muestra probabilística, en este documento, se procedió a usar la técnica de Propensity Score matching con el fin de conformar dos grupos balanceados con los cuales tuviera sentido realizar comparaciones. Posterior a esto se evaluó el efecto del tratamiento utilizando el estimador de diferencias DIF y el de diferencias en diferencias DIFDIF. Se evaluaron diferentes estrategias de estimación cuando se incluyen los pesos de muestreo y se analizó el efecto que puede tener el incorporarlos u omitirlos. Las ponderaciones para el estimador consistieron en la combinación de las probabilidades de inclusión inducidas por el diseño muestral junto a transformaciones de la medida de probabilidad inducida por el propensity score, encontradas en la literatura. Para esto se trabajó bajo un esquema de diseño en dos fases. Los resultados de las simulaciones, así como una aplicación al conjunto de datos del Programa Todos a Aprender (PTA) del Ministerio de Educación en Colombia, mostraron la importancia de usar las combinaciones de pesos muestrales y de propensity score en la reducción del sesgo, ante diferentes tipos de composiciones del soporte común entre los grupos control y tratamiento, diferentes tipos de diseños muestrales y diferentes ajustes del modelo de propensity score.

Abstract: Causal inference techniques applied to the statistical evaluation of the results of an experiment or an observational study constitutes a tool of vital importance when taking a decision in several fields of knowledge. Natural examples of these types of studies are analyzing of the impact for some public policy, program or intervention by the government; also when you want to evaluate the effect of a new medical treatment, and among others. However, in the practice, there are economic, ethic or logistic problems which makes difficult to assign units to treatments in a random way (quasi-experimental methodologies). In several occasions, when people want to evaluate these results there is not a possibility to measure the whole set of units in the population; then, it is necessary to draw a probabilistic sample which in the most of the cases is selected by complex sampling designs with unequal inclusion probabilities. Assuming the absence of a randomization process that guarantees the balance for measurable and non-measurable covariates between the treatment and control group, when a probabilistic sample was selected, the Propensity Score Matching technique was used in this document in order to get two balanced groups for the purpose of making comparisons. After this, the treatment effect was evaluated using the difference estimator DIF and the differences in differences estimator DIFDIF. Different estimation strategies were evaluated when the sample weights were included; furthermore, the effect of ignoring these weights was analyzed. The weights for the estimator consisted in the combination of inclusion probabilities induced by the sample design and a transformation of the probability measure induced by the propensity score, these transformations were found in different papers. In order to develop this, it was necessary to follow a scheme in two phase sampling. Simulation results, as well as an application to actual data from the Todos a Aprender Program (PTA in Spanish, it translates Everybody to Learn) of the Colombian Ministry of Education, show the importance of using both sampling and propensity score weights in order to reduce the bias, according to different types of compositions for the common support between control and treatment groups, different sampling designs and different propensity score models.