Sintesi
Porta i tuoi dati Bronzo in Gold e collegali con analisi e governance a Oracle Cloud. In questo video vi mostro come combinare OCI Object Storage, Oracle AI Data Platform Workbench, OCI Data Catalog e Oracle Analytics Cloud in un'architettura makehouse con strati di medaglione.
Passeremo attraverso i secchi, il Master Catalogo, il Delta tabelle e l'organizzazione dello spazio di lavoro. Rivediamo la configurazione del computer, le metriche Spark UI e l'orchestrazione del flusso di lavoro con i parametri per elaborare date specifiche e lavorare con carichi incrementali o completi. Esploriamo anche i ruoli di audit, login e accesso.
Abbiamo provato tre casi utili: aggiungere una colonna a una tabella Delta mantenendo i dati storici, mascherare le informazioni dai clienti con OCI Language o espressioni regolari, e eseguire consultazioni SQL sul livello Gold per ottenere rapporti.
Poi organizziamo il contesto aziendale con un glossario a OCI Data Catalog e colleghiamo Oracle Analytics Cloud con AIDP per selezionare tabelle, collegare i dati e preparare le visualizzazioni. Così si può seguire il percorso da archiviazione e la trasformazione al consumo analitico.
Inizio
Dopo l'introduzione, viene presentato un tour con OCI Object Storage, Oracle AI Data Platform Workbench, OCI Data Catalog e Oracle Analytics Cloud. Lo scopo dell'esempio è quello di tracciare i dati dagli strati del medaglione alla loro organizzazione aziendale e al loro consumo analitico.
OCI Object Storage e strati di medaglione
I secchi di lab e la separazione dei dati da strati stanno disperdendo. Il mantello Bronze contiene file di traffico, riferimenti ed esempi per dimostrare la mascheratura e l'evoluzione schematica. Lo storytelling distingue anche l'area di Landing, che può essere organizzato in un altro confronto secondo il disegno dell'ambiente.
Accesso al banco da lavoro Oracle AI Data Platform
La console Oracle Cloud apre l'istanza di Oracle AI Data Platform Workbench. L'accesso richiede la conferma dell'autenticazione nell'applicazione mobile. dopo aver inserito l'ambiente in cui sono registrati cataloghi, progetti e risorse della lab.
Master Catalogo e tabelle Delta
Master Catalogo organizza gli strati di bronzo, argento e oro, con il riferimento e il monitoraggio tabelle. sono ispezionati colonne e tipi di dati del Delta tabelle, inclusi esempi di traffico, mascheramento e crescita della colonna. Essi anche rivedere la storia di scambio e le opzioni per incorporare altri cataloghi.
Spazio di lavoro, notebook e organizzazione del progetto
Lo spazio di lavoro raggruppa i quaderni e gli archivi in base al mantello del processo. La cartella condivisa per il lavoro del computer si distingue e l'assunzione da Landing, riferimenti riutilizzabili e domande di consumo si trovano a Gold. I notebook e i lavori sono organizzati per associarli successivamente a un cluster esecuzione.
Configurazione Compute e cluster
Le opzioni del computer che eseguiranno notebook, lavori e query vengono esaminate. L'esempio mostra un cluster standard, alternative risorse e arresto dell'inattività con un intervallo di minuti 120, così come un'opzione per tenerlo su e su. Dalle opzioni di connessione si ottiene il file che verrà utilizzato in seguito in Analisi.
metriche Spark UI e esecuzione
Spark UI permette di rivedere i processi eseguiti nel cluster, l'uso e le metriche dei loro nodi ed esecutori. La spiegazione riguarda questi punti di vista al monitoraggio dei carichi: oltre a confermare che un processo è stato completato, ci permettono di osservare come hanno consumato risorse durante il loro esecuzione.
Flussi di lavoro, parametri e modalità di carico
Il flusso di lavoro del traffico collega l'assunzione e le trasformazioni di bronzo, argento e oro. I parametri vengono visualizzati per selezionare una data di elaborazione e una modalità di caricamento incrementale o completa. Il flusso dovrebbe anche essere associato con l'infrastruttura in cui verranno eseguiti i suoi compiti.
Controllo centralizzato e login
La vista centralizzata riunisce i record di audit e esecuzione di notebook, lavori, attività e chiamate a UPI dell'ambiente. Questo punto consente di inserire messaggi di attività senza dover rivedere ogni risorsa separatamente.
Roe e accesso collaborativo
La gestione dei ruoli e degli utenti sarà dedicata all'organizzazione dell'accesso all'ambiente. La spiegazione mette questi autorizzazioni in lavoro collaborativo: diversi partecipanti possono entrare nel progetto ed eseguire i loro rispettivi processi.
Ritiro e caricamento incrementale
Il test inizia con una tabella sintetica ed esegue un flusso di lavoro che incorpora una colonna aggiuntiva senza eliminare la storia. I dettagli, l'output e la linea temporale dei suoi compiti sono esaminati e il bronzo, l'argento e l'oro tabelle sono confrontati. Il risultato ci permette di osservare come lo schema cresce e come i record di fase precedenti sono rappresentati.
Mapping Dati con OCI Language e regex
Il flusso di lavoro tratta i dati dei clienti e mette una versione mascherata in Oro. E-mail, telefono e testo libero vengono esaminati e l'output indica se il rilevamento è stato fatto utilizzando OCI Language o espressioni regolari. La tabelle e la consultazione finale ci permettono di controllare i dati che sono stati passati attraverso ogni livello con i valori che saranno mostrati ai consumatori.
SQL Consultazione su Gold Layer
Il rapporto A SQL sui dati Gold viene eseguito dallo spazio di lavoro. A completo esecuzione e un output limitato a dieci record sono esaminati per esplorare il risultato. La dimostrazione mostra come una consultazione dei consumatori possa coesistere con i quaderni di trasformazione all'interno del progetto.
OCI Data Catalog e glossario aziendale
OCI Data Catalog contribuisce al glossario con fonti, tabelle, colonne, categorie e relazioni lab. Il tour include lavori di aggiornamento ed esempi di riferimenti che collegano oggetti da Bronzo e Silver. L'obiettivo è che l'apparecchiatura sia in grado di monitorare un dato, comprendere il suo contesto e mantenere i suoi rapporti documentati prima di applicare o riutilizzare le informazioni.
Connessione Oracle Analytics Cloud con AIDP
Oracle Analytics Cloud crea una connessione con AIDP utilizzando il file di configurazione ottenuto dal cluster. La spiegazione indica che questo computer si rivolge a diversi utenti della lab: notebook, lavori e analisi. La connessione consente di accedere agli schemi e di preparare un'analisi su tabelle disponibile.
Creazione e selezione di set di dati tabelle
Il dataset A viene creato dalla connessione AIDP e il riferimento tabelle viene trascinato come antenne e aggregati di traffico. Quando un'analisi richiede maggiori dettagli, anche le informazioni Silver saranno incorporate. La selezione di tabelle prepara le informazioni che saranno correlate alla successiva rata.
Rapporto tra tabelle e profilazione dei dati
Il dataset consente di rivedere il rapporto tra tabelle e un profilo di colonna con almeno valori metrici, massimi, unici e tipi di data. Vengono discusse anche le opzioni di cache e aggiornamento. Questi punti di vista aiutano a controllare la struttura dei dati prima di salvare il set e la visualizzazione della costruzione.
Visibilità e chiusura
Il set di dati con la sua produzione creerà visualità. La chiusura riunisce il corso completo: archiviazione a Object Storage, lavorazione del medaglione AIDP, governance Data Catalog e consumo Oracle Analytics Cloud.