Sintesi
Come può un modello Hugging Face essere importato e distribuito per l'inferenza in OCI Data Science?
La dimostrazione utilizza AI Quick Actions per registrare un modello tramite il suo identificatore, memorizzare i suoi file in OCI Object Storage e distribuirlo nell'infrastruttura NVIDIA GPU. Viene creato un bucket versione, e il terminale Data Science autentica a Hugging Face attraverso il suo CLI e un token di accesso.
Viene quindi selezionato il modello, container, bucket e cartella di destinazione. La configurazione di distribuzione sceglie l'infrastruttura e mantiene gli argomenti di default container. Una volta disponibile, il modello viene interrogato con parametri e opzioni di invocazione per CLI, Python e Java vengono esaminate.
Il walkthrough termina controllando i file di modello in Object Storage, dove rimangono disponibili per altri distribuzioni.
Inizio
Il presentatore introduce l'importazione di modelli Hugging Face in OCI Data Science per progetti utilizzando un endpoint o CLI. Il walkthrough si concentra sulla preparazione di archiviazione, la registrazione del modello e la distribuzione per domande di inferenza.
Creazione e versione dei secchi
Viene creato un bucket OCI Object Storage con un nome e una versione abilitata. Questa destinazione in seguito memorizza i file del modello registrati tramite AI Quick Actions. Una volta che il bucket è pronto, si apre un terminale Data Science.
Autenticazione Hugging Face con CLI e Token
Il terminale Data Science inizia l'autenticazione utilizzando lo Hugging Face CLI. Un token di accesso viene creato nelle impostazioni dell'account con un nome e opzioni selezionate per l'esempio. Il gettone viene poi utilizzato nel terminale per terminare la firma prima della registrazione del modello.
Registrazione del modello a AI Quick Actions
In AI Quick Actions si avvia la registrazione del modello con l’identificatore ottenuto da Hugging Face. Si scelgono il contenitore, il bucket preparato e la cartella dei file. Durante la registrazione si abilita l’opzione di fine-tuning e si attende il download del modello nel bucket.
Distribuzione del modello a GPU
Il modello registrato e l'infrastruttura NVIDIA GPU sono selezionati per distribuzione. Gli argomenti del contenitore possono essere regolati nel modulo, ma la dimostrazione mantiene i valori di default. La distribuzione inizia, e provisioning è permesso di finire prima che l'inferenza venga testata.
Test e invocazione con CLI, Python e Java
Una volta che distribuzione è disponibile, il modello viene interrogato e i parametri di prova sono regolati. Vengono poi mostrate opzioni e esempi di invocazione per CLI, Python e Java. Il walkthrough termina in Object Storage per controllare che i file di modello hanno scaricato e sono disponibili per il futuro distribuzioni.