Sintesi
Come si può sviluppare un'applicazione PySpark nel browser ed eseguire in OCI Data Flow?
Il tutorial prepara l'autenticazione OCI e Spark in Cloud Shell, crea un progetto Code Editor e utilizza Spark Oracle Datasource per leggere una tabella Oracle Autonomous Database. Il wallet viene memorizzato in OCI Object Storage, e l'applicazione configura i dettagli della connessione del database.
Lo script viene testato per la prima volta in Cloud Shell con Run Locally, controllando i primi cinque record. La Python artefatto viene poi caricata su Object Storage e viene creata un'applicazione Dati Flow per eseguirla su risorse.
Resource Principal è configurato per l'accesso OCI risorsa mentre le credenziali del database di esempio rimangono in uso. Dopo le fasi Dati Flow esecuzione, Spark UI e DAG vengono esaminati per comprendere le dipendenze job.
Inizio
OCI Data Flow è introdotto per le applicazioni di elaborazione distribuita, con Code Editor per lo sviluppo basato sul browser. Il walkthrough prepara l'ambiente, costruisce un'applicazione PySpark che legge un tavolo Autonomous, lo testa localmente e lo pubblica per Dati Flow esecuzione. Spark UI esamina il risultato job.
Requisiti e autenticazione per Code Editor
I prerequisiti Code Editor e Cloud Shell includono le politiche di accesso, la configurazione utente OCI e gli strumenti di ambiente Spark. Il presentatore prepara un API Chiave, scarica il suo file chiave e mantiene l'anteprima di configurazione per i passaggi successivi.
Inserimento il progetto a Code Editor
Code Editor si apre da Dati Flow, e un progetto viene creato da zero. Il suo nome è definito, si trova nel vano selezionato, e il suo terminale si apre. Il progetto fornisce lo spazio di lavoro per la preparazione delle credenziali e del file Python.
Configurare le credenziali di OCI
La configurazione OCI è preparata con i valori del profilo e il percorso chiave privato. I file vengono inseriti nella directory di configurazione dell'utente e il profilo viene controllato per una corretta lettura. La configurazione e le copie chiave inizialmente create all'interno del progetto vengono poi rimosse.
Preparare Spark a Cloud Shell
Viene introdotto lo script per la configurazione di Spark in Cloud Shell per Dati Flow. Il presentatore spiega che l'ambiente è già pronto; la configurazione deve finire prima dell'applicazione esecuzione. Questo collega l'autenticazione OCI con gli strumenti di elaborazione del progetto.
Inserimento PySpark con Spark Oracle Datasource
Un file Python crea una sessione Spark con PySpark. Gli esempi Oracle forniscono la lettura Autonomous utilizzando Spark Oracle Datasource e un wallet in Object Storage. L'opzione di abilitazione del connettore viene riesaminata e il codice viene adattato alla connessione dell'esempio.
Portafoglio di database Autonomous a Object Storage
Il wallet è scaricato da Autonomous e caricato su un bucket Object Storage. Lo script imposta il nome del file, lo spazio dei nomi e il bucket, insieme con l'identificatore di connessione, lo schema e la tabella. Il nome utente e la password del database sono anche configurati, seguito da un'anteprima dei primi cinque record.
Test locale con Run Locally
Code Editor seleziona Run Locally, Python e il file di applicazione. Spark Oracle Datasource è abilitato e il test inizia in Cloud Shell. Il registro mostra i primi cinque record di tabella, controllando la lettura prima di creare la Dati Flow esecuzione gestita.
Pubblicare artefatto a Object Storage
Upload Artifact carica l'applicazione Python dal progetto. Il percorso del bucket Object Storage è specificato, e la vista del bucket è rinfrescata per verificare lo script. Questo artefatto diventa l'ingresso dell'applicazione di flusso Dati.
Inserimento un'applicazione a OCI Data Flow
L'applicazione Dati Flow viene creata con un nome, la versione Spark e la lingua Python. L'esempio conserva le impostazioni predefinite del driver e dell'esecutore. Viene selezionato il bucket e il percorso dello script pubblicato, e la destinazione del registro viene configurata prima che vengano esaminate le opzioni avanzate.
Autenticazione con Resource Principal
Nelle opzioni avanzate si abilitano Resource Principal e la proprietà di Spark Oracle Datasource. Resource Principal autentica l’accesso alle risorse OCI durante l’esecuzione. La connessione ad Autonomous utilizza anche il wallet e le credenziali del database configurati nell’esempio. Queste opzioni completano la creazione dell’applicazione.
Eseguire l'applicazione a Dati Flow
Run avvia l'applicazione gestita. Dati Flow dispone di Spark cluster risorse ed esegue lo script pubblicato. Il walkthrough attende il completamento prima dell'apertura di strumenti di monitoraggio. Questo Dati Flow esecuzione segue il precedente test locale Cloud Shell.
Display Spark UI e DAG
Spark UI si apre dopo il completamento per ispezionare le fasi job. La visualizzazione DAG rappresenta dipendenze tra fasi e compiti, aiutando a rivedere l'elaborazione dei dataset distribuiti. La chiusura collega questa vista con l'analisi e il debug delle applicazioni Spark sviluppate in Code Editor.