Resumen
Lleva tus datos de Bronze a Gold y conéctalos con análisis y gobierno en Oracle Cloud. En este video te muestro cómo combinar OCI Object Storage, Oracle AI Data Platform Workbench, OCI Data Catalog y Oracle Analytics Cloud en una arquitectura lakehouse con capas medallón.
Recorremos los buckets, el Master Catalog, las tablas Delta y la organización del workspace. Revisamos la configuración del compute, las métricas de Spark UI y la orquestación de workflows con parámetros para procesar fechas específicas y trabajar con cargas incrementales o completas. También exploramos la auditoría, los logs y los roles de acceso.
Probamos tres casos prácticos: agregar una columna a una tabla Delta conservando los datos históricos, enmascarar información de clientes con OCI Language o expresiones regulares, y ejecutar consultas SQL sobre la capa Gold para obtener reportes.
Después organizamos el contexto de negocio con un glosario en OCI Data Catalog y conectamos Oracle Analytics Cloud con AIDP para seleccionar tablas, relacionar datos y preparar visualizaciones. Así puedes seguir el recorrido desde el almacenamiento y la transformación hasta el consumo analítico.
Inicio
Tras la introducción, se presenta un recorrido que conecta OCI Object Storage, Oracle AI Data Platform Workbench, OCI Data Catalog y Oracle Analytics Cloud. El objetivo del ejemplo es seguir los datos desde las capas medallón hasta su organización de negocio y su consumo analítico.
OCI Object Storage y capas medallón
Se recorren los buckets del laboratorio y la separación de los datos por capas. La capa Bronze contiene archivos de tráfico, referencias y ejemplos para probar enmascaramiento y evolución de esquema. La narración distingue también la zona Landing, que puede organizarse en otro compartment según el diseño del entorno.
Acceso a Oracle AI Data Platform Workbench
Desde la consola de Oracle Cloud se abre la instancia de Oracle AI Data Platform Workbench. El acceso requiere confirmar la autenticación en la aplicación móvil; después se entra al entorno donde están registrados los catálogos, los proyectos y los recursos del laboratorio.
Master Catalog y tablas Delta
El Master Catalog organiza las capas Bronze, Silver y Gold, junto con las tablas de referencia y control. Se inspeccionan columnas y tipos de datos de tablas Delta, incluidos los ejemplos de tráfico, enmascaramiento y crecimiento de columnas. También se repasan el historial de cambios y las opciones para incorporar otros catálogos.
Workspace, notebooks y organización del proyecto
El workspace agrupa notebooks y archivos según la capa del proceso. Se distingue la carpeta Shared para el trabajo del equipo y se localizan la ingesta desde Landing, las referencias reutilizables y las consultas de consumo en Gold. Los notebooks y jobs quedan organizados para asociarlos después con un clúster de ejecución.
Compute y configuración del clúster
Se revisan las opciones del compute que ejecutará notebooks, jobs y consultas. El ejemplo muestra un clúster estándar, alternativas de recursos y el apagado por inactividad con un intervalo de 120 minutos, además de la opción de mantenerlo activo. Desde sus opciones de conexión se obtiene el archivo que se utilizará más adelante en Analytics.
Spark UI y métricas de ejecución
Spark UI permite revisar los procesos ejecutados en el clúster, la utilización y las métricas de sus nodos y ejecutores. La explicación relaciona estas vistas con el seguimiento de las cargas: además de confirmar que un proceso terminó, permiten observar cómo consumió los recursos durante su ejecución.
Workflows, parámetros y modos de carga
El workflow de tráfico encadena la ingesta y las transformaciones de Bronze, Silver y Gold. Se muestran parámetros para seleccionar una fecha de procesamiento y un modo de carga incremental o completo. El flujo también debe quedar asociado con la infraestructura donde se ejecutarán sus tareas.
Auditoría y logs centralizados
La vista centralizada reúne la auditoría y los registros de ejecución de notebooks, jobs, tareas y llamadas a APIs del entorno. Este punto permite ubicar los mensajes de actividad sin tener que revisar cada recurso por separado.
Roles y acceso colaborativo
Se recorre la administración de roles y usuarios para organizar el acceso al entorno. La explicación sitúa estos permisos dentro del trabajo colaborativo: distintos participantes pueden entrar al proyecto y ejecutar los procesos que les correspondan.
Evolución de esquema y carga incremental
La prueba parte de una tabla sintética y ejecuta un workflow que incorpora una columna adicional sin eliminar el historial. Se revisan los detalles, la salida y la línea de tiempo de sus tareas, y se comparan las tablas de Bronze, Silver y Gold. El resultado permite observar cómo crece el esquema y cómo se representan registros de etapas anteriores.
Enmascaramiento de datos con OCI Language y regex
El workflow procesa datos de clientes y publica en Gold una versión enmascarada. Se revisan correos, teléfonos y texto libre, y la salida indica si la detección se hizo mediante OCI Language o expresiones regulares. Las tablas y la consulta final permiten contrastar los datos que recorrieron cada capa con los valores que se mostrarán a los consumidores.
Consultas SQL sobre la capa Gold
Desde el workspace se ejecuta una consulta SQL de reporte sobre los datos de Gold. Se revisan una ejecución ya completada y una salida limitada a diez registros para explorar el resultado. La demostración muestra cómo una consulta de consumo puede convivir con los notebooks de transformación dentro del proyecto.
OCI Data Catalog y glosario de negocio
OCI Data Catalog aporta el glosario con fuentes, tablas, columnas, categorías y relaciones del laboratorio. El recorrido incluye jobs de actualización y ejemplos de referencias que vinculan objetos de Bronze y Silver. La finalidad es que el equipo pueda localizar un dato, entender su contexto y mantener documentadas sus relaciones antes de solicitar o reutilizar información.
Conexión de Oracle Analytics Cloud con AIDP
En Oracle Analytics Cloud se crea una conexión con AIDP utilizando el archivo de configuración obtenido del clúster. La explicación muestra que ese compute atiende distintos consumidores del laboratorio: notebooks, jobs y consultas analíticas. La conexión permite acceder a los esquemas y preparar el análisis sobre las tablas disponibles.
Creación del dataset y selección de tablas
Se crea un dataset desde la conexión con AIDP y se arrastran tablas de Gold y de referencia, como antenas y agregados de tráfico. Cuando el análisis requiere más detalle, se incorpora también información de Silver. La selección de tablas prepara los datos que se relacionarán en el siguiente tramo.
Relaciones entre tablas y perfilado de datos
El dataset permite revisar las relaciones entre tablas y un perfil de las columnas, con métricas como mínimos, máximos, valores únicos y tipos de fecha. También se comentan las opciones de caché y actualización. Estas vistas ayudan a comprobar la estructura de los datos antes de guardar el conjunto y construir visualizaciones.
Visualizaciones y cierre
Con el dataset preparado se pasa a crear visualizaciones. El cierre reúne el recorrido completo: almacenamiento en Object Storage, procesamiento medallón en AIDP, contexto de gobierno en Data Catalog y consumo en Oracle Analytics Cloud.