Resumo
Como organizar transformações, qualidade de dados e dependências desde o staging até o dataset?
Este Data Framework sobre Oracle Autonomous Data Warehouse usa práticas de gestão de dados de DAMA como referência. Sua Data Staging Area (DSA) classifica a informação em STG para dados transacionais, STC para tabelas de catálogo e STH para dados históricos.
Os Query Mapping produzem tabelas intermediárias reutilizáveis. O projeto contempla índices, parâmetros em tabelas e controles de regras de negócio antes de cada mapping, com notificações de erro por e-mail. Os metadados documentam atributos e apoiam o versionamento e a gestão de mudanças; também se propõe preservar o histórico por meio de partições.
O dataset de saída é obtido do último mapping e de seu Query Dataset. QuickDBD apoia a modelagem do dataset. Cada workflow é encapsulado em um procedimento armazenado com um ou mais mappings e gera um único dataset. O monitor registra controles, mappings, datasets, início e fim, conservando as últimas N execuções. As dependências permitem acionar outros workflows em uma malha de execução controlada.
Vídeo completo.
A proposta organiza uma Data Staging Area entre fontes e datasets. As categorias STG, STC e STH distinguem dados transacionais, tabelas de catálogo e informações históricas dentro do framework. Os Query Mapping geram tabelas intermediárias reutilizáveis, com índices, parâmetros em tabelas e controles de regras de negócio prévios à execução. Erros podem ser notificados por e-mail.
Os metadados de mappings e datasets documentam atributos, versões e mudanças. O projeto propõe preservar o histórico por meio de partições, obter a saída do último mapping e de seu Query Dataset e reutilizar esse dataset como entrada de outros processos. QuickDBD aparece como ferramenta de modelagem associada ao desenho do dataset.
Cada workflow é encapsulado em um procedimento armazenado e reúne um ou mais mappings para gerar um dataset. O monitor do framework registra controles, mappings, datasets e o início e o fim do workflow, conservando as últimas N execuções. Um workflow pode acionar outros por meio de dependências para formar uma malha de execução controlada.