Resumo
Como conectar a governança de dados às decisões de arquitetura e aos objetivos do negócio?
A palestra aplica conceitos de DAMA-DMBOK a um caso hipotético de ingestão e transformação de documentos e dados estruturados no Oracle Cloud. Relaciona uma arquitetura com OCI Object Storage, OCI Events, OCI Functions e Oracle Autonomous Database à segurança, qualidade, metadados e rastreabilidade.
São revisadas as responsabilidades, a coordenação entre áreas e as fontes isoladas. Um roadmap ilustrativo de nove meses permite discutir migração, coexistência e padronização, entrega antecipada de valor e avaliação de TCO e ROI, incluindo o esforço operacional.
O percurso apresenta Database Actions e Data Studio, uma comparação entre nuvens e exemplos de embeddings, arquitetura medalhão e workflows. Encerra com perguntas sobre dependências entre processos e a formação para trabalhar como arquiteto de dados.
Início
Joel Gangini apresenta a palestra e sua relação com a gestão de dados no Oracle Cloud. O objetivo é conectar as necessidades do negócio a uma arquitetura que prepare informações para análise e inteligência artificial.
Caso prático: ingestão e valor dos dados
É apresentado um caso de ingestão, transformação e administração de dados. A pergunta inicial é como obter valor da informação e desenvolver projetos escaláveis, utilizando DAMA como referência.
Desafios, objetivos e retorno do projeto
O caso hipotético combina documentos e bancos de dados locais, processamento em lotes e necessidades em tempo real. Propõe-se definir desafios, objetivos e indicadores que permitam explicar o investimento e avaliar melhorias de tempo e custo.
Arquitetura de dados e ingestão orientada a eventos
Propõe-se armazenar arquivos em um bucket e disparar eventos que invoquem funções de processamento. Conforme o conteúdo, o fluxo pode incluir transcrição ou OCR antes de centralizar as informações para consumo.
Autonomous Database e dados convergentes
O Autonomous Database é apresentado como repositório de dados relacionais, JSON e vetores. A arquitetura conecta essas informações a modelos e aplicações de IA e prevê uma camada de execução para atender aos usuários.
Fases de adoção e framework DAMA
É explicado que as fases de adoção dependem da organização e das equipes que executam o projeto. DAMA é apresentado como referência para organizar responsabilidades e capacidades, independentemente da infraestrutura escolhida.
Pirâmide de gestão de dados e consumo com IA
São percorridas as camadas de modelagem, armazenamento, segurança, integração e consumo analítico. O expositor acrescenta IA e uma classificação por cores à sua adaptação da pirâmide, distinguindo essas contribuições pessoais do conteúdo do livro.
Governança e coordenação entre áreas
É explicado por que o ponto de partida depende da necessidade do projeto. Um exemplo de listas inconsistentes de estudantes ilustra como a falta de comunicação, as fontes isoladas e o trabalho duplicado dificultam compartilhar informações confiáveis.
Qualidade de dados, metadados e rastreabilidade
As regras de negócio e os controles de qualidade determinam quais informações chegam ao consumo. Destaca-se o papel dos metadados para compreender processos, reconstruir seu histórico e investigar incidentes, além do acompanhamento oferecido pelos logs.
Proposta de adoção por fases
Propõe-se explorar primeiro as integrações e os processos existentes, avançar no desenho e acompanhar a transição com coexistência de serviços. A padronização é proposta após avaliar quais componentes agregam valor ao caso.
Roadmap de arquitetura, governança e desenvolvimento
As camadas da pirâmide são relacionadas às frentes de trabalho do roadmap. A arquitetura de referência é ajustada à medida que surgem necessidades, restrições e mudanças de dimensionamento; o desenho continua durante o projeto.
Papéis e responsabilidade pelos dados
Propõe-se identificar os responsáveis pelos dados desde o início e coordenar equipes em torno de casos prioritários. A governança requer pessoas com poder de decisão que assumam a responsabilidade pelas informações de seu domínio.
Entrega antecipada de valor e indicadores
Propõe-se entregar indicadores e resultados durante o projeto, conforme seu alcance, em vez de esperar pelo encerramento. Discute-se como as ferramentas de integração, análise e IA podem apoiar essa entrega no roadmap ilustrativo de nove meses.
Migração, coexistência e padronização
São distinguidas três etapas para decidir o que migrar, manter e desativar. A coexistência permite comparar resultados, tempos e custos entre componentes antigos e novos antes de padronizar a arquitetura escolhida.
TCO, ROI e custos operacionais
A avaliação econômica inclui infraestrutura, desenvolvimento e esforço das pessoas em tarefas operacionais. Propõe-se identificar esse trabalho e seu custo por hora para avaliar a automação, sem atribuir ao caso economia ou retorno garantidos.
A roda DAMA e seus domínios
A roda DAMA é revisada com a governança de dados no centro e domínios como qualidade e segurança ao redor. O expositor explica que a necessidade do projeto orienta o ponto de entrada e o percurso pelos capítulos.
Database Actions e capacidades do Autonomous
São percorridas categorias do Database Actions e do Data Studio: desenvolvimento, administração, monitoramento e gestão de dados. Utilitários de modelagem, JSON, grafos e catálogos são citados como capacidades a explorar no desenho da solução.
Alinhamento de serviços aos domínios DAMA
Propõe-se relacionar as capacidades de cada serviço às necessidades específicas dos domínios DAMA. A solução combina ferramentas complementares; a comparação serve para planejar capacidades futuras e não constitui certificação de conformidade.
Comparação de serviços e arquiteturas multicloud
São comparados serviços de armazenamento de AWS, Azure, Google Cloud e Oracle Cloud para ajudar a compreender uma arquitetura híbrida. Propõe-se avaliar quais componentes combinar conforme o ambiente e as necessidades do projeto.
Arquitetura de embeddings com Events e Functions
O fluxo de arquivos em um bucket, eventos e funções é retomado para explicar uma arquitetura de processamento de embeddings. Discute-se como o código conecta as etapas aos repositórios que serão utilizados pelas aplicações de IA.
Exemplo de arquitetura medalhão e integração híbrida
Um trecho de outro vídeo explica as camadas medalhão e a coexistência entre infraestrutura local e nuvem. Destaca-se a importância de identificar cada serviço com sua função para compreender o percurso e o processamento dos dados.
Framework de dados: staging, catálogos e controle
São revisados staging, catálogos, regras, frequência e volume de processamento. O exemplo inclui controle, monitoramento, parâmetros, metadados e mappings; propõe-se que cada workflow produza um dataset para organizar suas dependências com outros fluxos.
Perguntas: orquestração de processos e dependências
Uma pergunta aborda como executar um processo que depende de outros com horários diferentes. A resposta comenta Airflow, PowerCenter, Oracle Data Integrator e opções de nuvem, relacionando a escolha às ferramentas disponíveis e às dependências do ambiente.
Caminho para se tornar arquiteto de dados
O expositor compartilha sua trajetória do desenvolvimento à arquitetura de dados. Destaca a resolução de problemas, a pesquisa contínua e o conhecimento de uma linguagem de programação, mencionando Python e PySpark em sua proposta de aprendizagem.
Recursos relacionado
- DAMA International — DAMA-DMBOK e gestão de dados
- Oracle Database Actions — Ferramentas de desenvolvimento, dados e administração
- Data Studio — Catálogo e metadados no Autonomous AI Database
- OCI Events — Automação baseada em eventos
- OCI Functions — Processamento serverless e integração com eventos
- Projetos de Joel Gangini no GitHub