Executable architectural models for Big Data analytics development and deployment

Abstract

Con la reciente proliferación de análisis de big data (BDA), las empresas recopilan y transforman datos para realizar análisis predictivos a una escala que hace unos años no era posible. Las metodologías de BDA involucran dominios de negocio, analíticos y tecnológicos. Cada dominio se ocupa de diferentes preocupaciones en diferentes niveles de abstracción, pero el desarrollo actual de BDA no considera la integración formal entre estos dominios. Por lo tanto, el procedimiento de implementación suele implicar la re-escritura del código que se implementará en infraestructuras de TI específicas para obtener software alineado con los requisitos funcionales y no funcionales. Se ha identificado un alto costo y una transición propensa a errores entre el laboratorio de datos y el entorno productivo. Esta tesis explora los desafíos que enfrentan las partes interesadas en el desarrollo de aplicaciones BDA y presenta un enfoque de modelado de dominio específico (DSM) para diseñar, validar y generar aplicaciones BDA desde una perspectiva arquitectónica, cerrando la brecha entre los dominios de la arquitectura de TI y la analítica.

With recent big data analytics (BDA) proliferation, enterprises collect and transform data to perform predictive analyses on a scale that a few years ago was not possible. BDA methodologies involve business, analytics, and technology domains. Each domain deals with different concerns at different abstraction levels, but current BDA development does not consider the formal integration among these domains. Hence, the deployment procedure usually implies rewriting code to be deployed on specific IT infrastructures to obtain software aligned to functional and non-functional requirements. Moreover, surveys have reported a high cost and error-prone transition between analytics development (data lab) and productive environments. This thesis explores the challenges faced by stakeholders in BDA application development and presents a domain- specific model (DSM) approach to design, validate, and generate BDA applications from an architectural perspective, bridging the gap between analytics and IT architecture domains.