En este trabajo se abordan modelos de control markovianos en tiempo discreto con espacios de estado y de control numerables, con costos acotados y distribución de perturbaciones aleatorias desconocida θ. Asumiendo perturbaciones observables y aplicando la distribución empírica como estimador de θ, el objetivo es construir políticas adaptadas, las cuales son asintóticamente óptimas en costo descontado.