Artículo de revista
Clinical significance: false positives in the estimation of individual change
Significado clínico: falsos positivos en la estimación del cambio individual
Registro en:
0212-9728
1695-2294
10.6018/analesps.29.2.139031
114VD
WOS:000316770000001
Autor
Pardo, Antonio
Ferrer-Urbina, Rodrigo
Institución
Resumen
In applied research and in clinical practice we often need to assess the change experienced by patients as a result of the treatment they have received. This paper assesses the performance of several statistical methods designed to estimate such change. This study focuses on one aspect that still has not received attention: the rate of false positives. We have simulated a situation of no-change (pre-post design with no change between pre and post) in which the behavior of nine different statistics have been evaluated. Three different sample sizes (25, 50 and 100) were used and 1000 samples of each size were simulated. To evaluate the behavior of the chosen statistics we have calculated the percentage of times that each statistic has detected change. Since no-change is the simulated situation, any occurrence of change should be considered a false positive. Results are quite striking: none of the nine statistics evaluated offers an acceptable behavior. Good performance is achieved only when the standard deviation of pre-post differences and the traditional criteria are used and not when those proposed by the literature related to the clinical significance are used. En la investigación aplicada y en la práctica clínica muchas veces necesitamos evaluar el cambio experimentado por los pacientes como consecuencia del tratamiento que han recibido. Este artículo evalúa el desempeño de varios métodos estadísticos diseñados para estimar dicho cambio. Este estudio se centra en un aspecto que todavía no ha recibido atención: la tasa de falsos positivos. Hemos simulado una situación de no-cambio (diseño pre-post sin cambio entre pre y post) en la que se ha evaluado el comportamiento de nueve estadísticos diferentes. Se utilizaron tres tamaños de muestra diferentes (25, 50 y 100) y se simularon 1000 muestras de cada tamaño. Para evaluar el comportamiento de las estadísticas elegidas hemos calculado el porcentaje de veces que cada estadística ha detectado cambios. Dado que la situación simulada es la ausencia de cambios, cualquier ocurrencia de cambio debe considerarse un falso positivo. Los resultados son bastante llamativos: ninguno de los nueve estadísticos evaluados ofrece un comportamiento aceptable. El buen desempeño se logra solo cuando se utiliza la desviación estándar de las diferencias pre-post y los criterios tradicionales y no cuando se utilizan los propuestos por la literatura relacionados con la significación clínica.