Managing stakeholder deliberation using NLP in policymaking

Abstract

Relacionarse con múltiples grupos de interés es una tendencia creciente en políticas de ciencia y tecnología. Para los formuladores de políticas, dar sentido a los datos participativos es una tarea compleja. El Procesamiento del Lenguaje Natural (NLP) puede ayudar a procesar estos datos, reducir la sobrecarga cognitiva y respaldar la participación de múltiples partes interesadas. Sin embargo, implementar NLP puede ser un desafío en entornos con recursos, conocimientos o infraestructura limitados. Este estudio utiliza métodos mixtos para analizar la viabilidad y las limitaciones del uso de la Latent Dirichlet Allocation (LDA), un algoritmo de NLP, de trabajar con datos de deliberación pública durante la creación de la Política de Inteligencia Artificial (IA) de Chile. Este caso es único ya que más de 1.700 personas deliberaron a través de procesos estructurados y no estructurados, y sus reflexiones variaban en formato, calidad, profundidad y extensión. Comparamos el contenido del borrador de la política de IA de Chile, escrito por expertos, con los resultados del algoritmo LDA aplicado a los datos de deliberación pública. LDA detectó efectivamente el 87% de los temas en el borrador y solo requirió evaluar manualmente el 26% de los documentos para entregar ese resultado. LDA fue robusta ante ambos formatos de deliberación. Para comprender cómo interactúan los formuladores de políticas con el algoritmo, realizamos entrevistas semiestructuradas a cuatro personas que participaron en la creación de la política. Los formuladores de políticas valoraron el potencial de este algoritmo para rastrear el progreso, sistematizar y reducir el tiempo en la revisión de documentos, sugiriendo que reduciría su sobrecarga cognitiva. Sin embargo, los formuladores de políticas expresaron su preocupación por la simplificación de las opiniones de los ciudadanos a palabras clave y posibles sesgos del algoritmo en contra de las minorías. Discutimos el potencial y las limitaciones del uso de LDA en la formulación de políticas tecnológicas y contribuimos mostrando cómo puede ayudar en la gestión estratégica de las partes interesadas en un entorno del mundo real con recursos limitados.