Resumen
¿Cómo conectar el gobierno de datos con las decisiones de arquitectura y los objetivos del negocio?
La charla aplica conceptos de DAMA-DMBOK a un caso hipotético de ingesta y transformación de documentos y datos estructurados en Oracle Cloud. Relaciona una arquitectura con OCI Object Storage, OCI Events, OCI Functions y Oracle Autonomous Database con seguridad, calidad, metadatos y trazabilidad.
Se revisan responsabilidades, coordinación entre áreas y fuentes aisladas. Un roadmap ilustrativo de nueve meses permite discutir migración, coexistencia y estandarización, entrega temprana de valor y evaluación de TCO y ROI, incluyendo el esfuerzo operativo.
El recorrido presenta Database Actions y Data Studio, una comparación entre nubes y ejemplos de embeddings, arquitectura medallón y workflows. Cierra con preguntas sobre dependencias entre procesos y formación para trabajar como arquitecto de datos.
Inicio
Joel Gangini presenta la charla y su relación con la gestión de datos en Oracle Cloud. El objetivo es conectar las necesidades del negocio con una arquitectura que prepare información para analítica e inteligencia artificial.
Caso práctico: ingesta y valor del dato
Se introduce un caso de ingesta, transformación y administración de datos. La pregunta de partida es cómo obtener valor de la información y desarrollar proyectos escalables, utilizando DAMA como referencia.
Desafíos, objetivos y retorno del proyecto
El caso hipotético combina documentos y bases de datos locales, procesamiento por lotes y necesidades en tiempo real. Se propone definir desafíos, objetivos e indicadores que permitan explicar la inversión y evaluar mejoras de tiempos y costos.
Arquitectura de datos e ingesta orientada a eventos
Se plantea almacenar archivos en un bucket y desencadenar eventos que invoquen funciones de procesamiento. Según el tipo de contenido, el flujo puede incorporar transcripción u OCR antes de centralizar la información para su consumo.
Autonomous Database y datos convergentes
Se presenta Autonomous Database como repositorio para datos relacionales, JSON y vectores. La arquitectura conecta esa información con modelos y aplicaciones de IA, y contempla una capa de ejecución para atender a los usuarios.
Fases de adopción y framework DAMA
Se explica que las fases de adopción dependen de la organización y de los equipos que ejecutan el proyecto. DAMA se introduce como referencia para ordenar responsabilidades y capacidades, independientemente de la infraestructura elegida.
Pirámide de gestión de datos y consumo con IA
Se recorren las capas de modelado, almacenamiento, seguridad, integración y consumo analítico. El expositor incorpora la IA y una clasificación por colores a su adaptación de la pirámide; distingue esos aportes personales del contenido del libro.
Gobierno y coordinación entre áreas
Se explica por qué el punto de partida depende de la necesidad del proyecto. Un ejemplo de listas de estudiantes inconsistentes ilustra cómo la falta de comunicación, las fuentes aisladas y los trabajos duplicados dificultan compartir información confiable.
Calidad de datos, metadatos y trazabilidad
Las reglas de negocio y los controles de calidad determinan qué información llega al consumo. Se destaca el papel de los metadatos para comprender procesos, reconstruir su recorrido e investigar incidentes, además del seguimiento que aportan los logs.
Propuesta de adopción por fases
Se propone explorar primero las integraciones y los procesos existentes, avanzar en el diseño y acompañar la transición con convivencia de servicios. La estandarización se plantea después de evaluar qué componentes aportan valor al caso.
Roadmap de arquitectura, gobierno y desarrollo
Se relacionan las capas de la pirámide con frentes de trabajo dentro del roadmap. La arquitectura de referencia se ajusta al descubrir necesidades, restricciones y cambios de dimensionamiento; el diseño continúa durante el proyecto.
Roles y responsabilidad sobre los datos
Se plantea identificar responsables de los datos desde el inicio y coordinar equipos alrededor de casos prioritarios. El gobierno requiere actores con capacidad de decidir y asumir la responsabilidad por la información de su dominio.
Entrega temprana de valor e indicadores
Se propone entregar indicadores y resultados durante el proyecto, según su alcance, en lugar de esperar al cierre. Se comenta cómo las herramientas de integración, analítica e IA pueden apoyar esa entrega dentro del roadmap ilustrativo de nueve meses.
Migración, coexistencia y estandarización
Se distinguen tres etapas para decidir qué trasladar, qué conservar y qué retirar. La coexistencia permite contrastar resultados, tiempos y costos entre componentes anteriores y nuevos antes de estandarizar la arquitectura elegida.
TCO, ROI y costos operativos
La evaluación económica incluye infraestructura, desarrollo y esfuerzo de las personas en tareas operativas. Se propone identificar ese trabajo y su costo por hora para valorar la automatización, sin atribuir al caso un ahorro o retorno garantizado.
La rueda DAMA y sus dominios
Se revisa la rueda DAMA con gobierno de datos en el centro y dominios como calidad y seguridad a su alrededor. El expositor explica que la necesidad del proyecto orienta el punto de entrada y el recorrido por los capítulos.
Database Actions y capacidades de Autonomous
Se recorren categorías de Database Actions y Data Studio: desarrollo, administración, monitoreo y gestión de datos. Se mencionan utilidades de modelado, JSON, grafos y catálogos como capacidades a explorar al diseñar la solución.
Alineación de servicios con los dominios DAMA
Se propone relacionar las capacidades de cada servicio con necesidades concretas de los dominios DAMA. La solución combina herramientas complementarias; la comparación presentada sirve para planificar capacidades futuras, sin constituir una certificación de cumplimiento.
Comparación de servicios y arquitecturas multicloud
Se comparan servicios de almacenamiento de AWS, Azure, Google Cloud y Oracle Cloud como ayuda para comprender una arquitectura híbrida. Se plantea evaluar qué componentes conviene combinar según el entorno y las necesidades del proyecto.
Arquitectura de embeddings con Events y Functions
Se retoma el flujo de archivos en un bucket, eventos y funciones para explicar una arquitectura de procesamiento de embeddings. Se comenta cómo el código conecta las etapas con los repositorios que utilizarán las aplicaciones de IA.
Ejemplo de arquitectura medallón e integración híbrida
Se presenta un fragmento de otro video para explicar capas medallón y convivencia entre infraestructura local y nube. Se destaca la importancia de etiquetar cada servicio con su función para comprender el recorrido y el procesamiento de los datos.
Framework de datos: staging, catálogos y control
Se revisan staging, catálogos, reglas, frecuencia y volumen de procesamiento. El ejemplo incorpora control, monitoreo, parámetros, metadatos y mappings; se propone que cada workflow produzca un dataset para organizar sus dependencias con otros flujos.
Preguntas: orquestación de procesos y dependencias
Una pregunta plantea cómo ejecutar un proceso que depende de otros con horarios diferentes. La respuesta comenta Airflow, PowerCenter, Oracle Data Integrator y opciones de nube, y relaciona la elección con las herramientas disponibles y las dependencias del entorno.
Ruta para convertirse en arquitecto de datos
El expositor comparte su trayectoria desde desarrollo hacia arquitectura de datos. Destaca la resolución de problemas, la investigación continua y el conocimiento de un lenguaje de programación; menciona Python y PySpark como parte de su propuesta de aprendizaje.
Recursos relacionados
- DAMA International — DAMA-DMBOK y gestión de datos
- Oracle Database Actions — Herramientas de desarrollo, datos y administración
- Data Studio — Catálogo y metadatos en Autonomous AI Database
- OCI Events — Automatización basada en eventos
- OCI Functions — Procesamiento serverless e integración con eventos
- Proyectos de Joel Gangini en GitHub