Resumen
¿Cómo organizar transformaciones, calidad de datos y dependencias desde el staging hasta el dataset?
Este Data Framework sobre Oracle Autonomous Data Warehouse toma como referencia prácticas de gestión de datos de DAMA. Su Data Staging Area (DSA) clasifica la información en STG para datos transaccionales, STC para tablas de catálogo y STH para datos históricos.
Los Query Mapping producen tablas intermedias reutilizables. El diseño contempla índices, parámetros en tablas y controles de reglas de negocio previos a cada mapping, con notificación de errores por correo. Los metadatos documentan atributos y apoyan el versionado y la gestión de cambios; también se plantea conservar historia mediante particiones.
El dataset de salida se obtiene del último mapping y su Query Dataset. Se presenta QuickDBD para apoyar su modelado. Cada workflow se encapsula en un procedimiento almacenado con uno o varios mappings y genera un único dataset. El monitor registra controles, mappings, datasets, inicio y fin, conservando las últimas N ejecuciones. Las dependencias permiten desencadenar otros workflows y formar una malla de ejecución controlada.
Video completo
La propuesta organiza una Data Staging Area entre las fuentes y los datasets. Las categorías STG, STC y STH distinguen datos transaccionales, tablas de catálogo e información histórica dentro del framework. Los Query Mapping generan tablas intermedias reutilizables y se acompañan de índices, parámetros en tablas y controles de reglas de negocio previos a la ejecución. Los errores pueden notificarse por correo.
Los metadatos de mappings y datasets documentan atributos, versiones y cambios. El diseño plantea conservar historia mediante particiones, obtener la salida del último mapping y su Query Dataset, y reutilizar ese dataset como entrada de otros procesos. QuickDBD aparece como herramienta de modelado asociada a su diseño.
Cada workflow se encapsula en un procedimiento almacenado y reúne uno o varios mappings para generar un dataset. El monitor del framework registra controles, mappings, datasets y el inicio y fin del workflow, conservando las últimas N ejecuciones. Un workflow puede desencadenar otros mediante dependencias para formar una malla de ejecución controlada.