Sintesi
Come può CodeLlama 13B essere adattato agli esempi SQL e PL/SQL con AI Quick Actions?
La dimostrazione utilizza OCI Data Science per preparare un set di dati JSONL, selezionare un modello di base e configurare la regolazione fine. I file e i risultati vengono memorizzati in un bucket OCI Object Storage versione. Versione modello, infrastruttura GPU, rete e parametri come epoche sono selezionati.
Lo job viene monitorato, la provenienza del modello e i parametri vengono esaminati e viene implementato uno endpoint. L'invocazione Python include il supporto e l'autenticazione Server-Sent Events tramite ADS e Resource Principal.
Test Your Model utilizza una domanda dal dataset di formazione stesso per ispezionare i nomi generati SQL e colonne. Un'implementazione basata su codice aggiuntivo converte JSONL a CSV e separa le applicazioni di formazione e chat. Il narratore spiega che questa risposta di prova finale ha ancora bisogno di aggiustamento.
Inizio
AI Quick Actions in OCI Data Science è introdotto per l'adattamento di modelli pre-trained attraverso la regolazione fine. Il walkthrough utilizza CodeLlama con un set di dati di generazione di codice personalizzato prima di implementare il modello e l'invocazione di test regolati.
Preparazione del set di dati JSONL per SQL e PL/SQL
Il set di dati A delle domande SQL e PL/SQL è preparato in formato JSONL. Il presentatore spiega che le linee possono essere elaborate in modo indipendente. Il file viene caricato in Data Science o direttamente in Object Storage come input per la regolazione fine del modello.
Bottiglia Object Storage con versione
Un bucket OCI Object Storage con la versione dell'oggetto abilitato è preparato come prerequisito. Questa destinazione è selezionata nel flusso di perfezionamento per memorizzare i risultati del modello regolato.
Configurazione di finetuning CodeLlama 13B
CodeLlama 13B è selezionato in AI Quick Actions, e si apre la regolazione fine. La posizione e il file del set di dati vengono scelti, viene definita un'etichetta di versione del modello, e il bucket preparato viene selezionato per i risultati prima della configurazione dell'infrastruttura.
Parametri di infrastruttura e formazione GPU
Viene selezionata l'infrastruttura GPU e la stessa VCN dell'ambiente Data Science. L'integrazione del registro è presentata per il monitoraggio, e parametri come le epoche sono configurate. Il flusso viene quindi rivisto e lo job viene inviato tramite AI Quick Actions.
Monitoraggio job e recensione esecuzione
Da View Console si esamina lo stato del lavoro in OCI. Al termine si consultano la provenienza del modello e i parametri dell’esecuzione. Il narratore indica circa 10 minuti per il fine-tuning di questa esecuzione. Il controllo collega il modello risultante alla configurazione di addestramento.
Ritiro del modello regolato
Si torna ad AI Quick Actions per distribuire il modello adattato e scegliere l’infrastruttura GPU di inferenza. Dalla console si seguono lo stato della distribuzione e le richieste di lavoro. Il narratore indica circa 20 minuti per questa distribuzione, prima di passare all’endpoint.
Invocazione di endpoint da Python
Le opzioni di invocazione visualizzano l'esempio endpoint e Python. Il codice viene copiato in un file Data Science e il supporto Server-Sent Events viene preparato. Questi messaggi del server riceve come un flusso di aggiornamenti per l'applicazione.
Autenticazione con ADS e Resource Principal
L'esempio Python cambia l'autenticazione a ADS con Resource Principal. L'applicazione invoca il modello utilizzando lo autorizzazioni dello OCI risorsa dove viene eseguito. L'esempio viene poi eseguito e presentato come punto di partenza per adattare l'integrazione ad altre applicazioni.
Modello di prova con le domande di dataset
In Test Your Model si copia una domanda dallo stesso dataset di addestramento. Si esamina la risposta SQL e si confrontano i nomi delle colonne con gli esempi caricati. La prova verifica questa risposta del modello adattato usando un dato di addestramento; il percorso non presenta una valutazione indipendente con domande nuove.
Extra: CodeLlama Fine-tuning per codice
Il segmento extra presenta un'implementazione basata su codice per il confronto con AI Quick Actions. Lo stesso dataset JSONL viene convertito in CSV e vengono utilizzate applicazioni di test di formazione e chat separate. Il presentatore valuta i parametri e le impostazioni, inizia la formazione e accelera quella parte del video.
Test di chat tracciata in codice
L'applicazione di chat extra è eseguito e queried. La sua risposta include alcune informazioni sul set di dati, ma il narratore spiega che sono necessarie ulteriori modifiche per la precisione. La chiusura confronta questo lavoro di implementazione con la preparazione OCI Data Science AI Quick Actions.