Sintesi
Come organizzare trasformazioni, qualità dei dati e dipendenze dallo staging al dataset?
Questo Data Framework su Oracle Autonomous Data Warehouse si ispira alle pratiche di gestione dei dati di DAMA. La sua Data Staging Area (DSA) classifica le informazioni in STG per dati transazionali, STC per tabelle di catalogo e STH per dati storici.
I Query Mapping producono tabelle intermedie riutilizzabili. Il progetto prevede indici, parametri in tabelle e controlli delle regole di business prima di ogni mapping, con notifiche degli errori via email. I metadati documentano gli attributi e supportano versioni e gestione delle modifiche; si propone anche di conservare lo storico mediante partizioni.
Il dataset di output deriva dall’ultimo mapping e dal relativo Query Dataset. QuickDBD supporta la modellazione del dataset. Ogni workflow è incapsulato in una procedura memorizzata con uno o più mapping e genera un unico dataset. Il monitor registra controlli, mapping, dataset, inizio e fine, conservando le ultime N esecuzioni. Le dipendenze permettono di avviare altri workflow in una rete di esecuzione controllata.
Video completo
La proposta organizza una Data Staging Area tra sorgenti e dataset. Le categorie STG, STC e STH distinguono dati transazionali, tabelle di catalogo e informazioni storiche nel framework. I Query Mapping generano tabelle intermedie riutilizzabili, con indici, parametri in tabelle e controlli delle regole di business prima dell’esecuzione. Gli errori possono essere notificati via email.
I metadati di mapping e dataset documentano attributi, versioni e modifiche. Il progetto propone di conservare lo storico mediante partizioni, ricavare l’output dall’ultimo mapping e dal relativo Query Dataset e riutilizzare il dataset come input di altri processi. QuickDBD compare come strumento di modellazione associato alla progettazione del dataset.
Ogni workflow è incapsulato in una procedura memorizzata e riunisce uno o più mapping per generare un dataset. Il monitor del framework registra controlli, mapping, dataset e l’inizio e la fine del workflow, conservando le ultime N esecuzioni. Un workflow può avviarne altri mediante dipendenze, formando una rete di esecuzione controllata.