Il portafoglio OCI ci permette di consumare modelli che sono stati preparati, di sviluppare modelli propri o di gestire infrastrutture per carichi specializzati. La decisione dipende da quanto lavoro devi controllare.
Obiettivi: Per distinguere i servizi IA, Data Science e il riconoscimento dell'infrastruttura del ciclo del modello spiegano GPU e RDMA e applicano i principi IA responsabile ad un caso particolare.
Concetti Chiave
| Requisito | Piastra di ritiromento | La responsabilità che si mantiene |
|---|---|---|
| Estrazione di informazioni con una capacità nota | Servizi IA | Preparare i dati, autorizzazioni e i risultati delle recensioni |
| Allenamento e funzionamento di un modello del tuo problema | OCI Data Science | Dati, algoritmo, valutazione e distribuzione |
| Controllare un carico calcolo dedicato | Infrastruttura IA | Ambiente, distribuzione e funzionamento per servizio |
Il preset services viene consumato con console, API, SDK o CLI. Alcuni permettono modelli personalizzati. Non è necessario formare una rete da zero per ogni compito. Assistente digitale organizza esperienze contigue e competenze non è un altro nome per un GPU, un notebook o il servizio linguistico.
OCI Data Science e ciclo modello
Progetti Hanno un lavoro. The sessioni di notebook fornire un ambiente JupiterLab per esplorare e formare. A Conda ambiente gestisce le dipendenze. Non e' un modello. La SDK ADS assistenza con il ciclo di dati e le attività del modello.
The Modello Catalogo mantiene artefatti e metadati per il monitoraggio e la collaborazione. A Modello Diploment Espandi un modello di inferenza tramite uno endpoint. A job svolge un'attività ripetibile, come la produzione o la formazione di dati. A coordina le fasi. Salva nel catalogo non crea automaticamente un endpoint attivo.
Per riprodurre un risultato, conserva la versione dei dati, il codice, le dipendenze e la configurazione. Nella dimostrazione di Data Science, ADS prepara l'artefatto, ne verifica la capacità predittiva e lo salva; la distribuzione e la chiamata di previsione sono passaggi successivi. Consulta i concetti di OCI Data Science.
Infrastrutture e IA responsabile
Uno. GPU condurre una serie di operazioni simili allo stesso tempo, consentendo il calcolo master della formazione e dell'inferenza. Non tutte le attività migliora aggiungendo GPU: influenzano la dimensione dei dati, la memoria, i trasferimenti e il software. La CPU continua a partecipare ad altre parti del lavoro.
Per la formazione distribuita, la comunicazione tra i nodi può limitare le prestazioni. RDMA consente trasferimenti di intervento minori CPU. RoCE trasportare RDMA su Ethernet. La città riduce i tour di comunicazione. Non confondere i collegamenti all'interno del nodo con la rete tra nodi e un Supercluster con un'applicazione endpoint.
Il materiale riassume IA affidabile come lecito, etico e robusto. In pratica, definisce la responsabilità, i controlli dei dati, la valutazione del gruppo, le spiegazioni appropriate, il monitoraggio umano e il monitoraggio dopo distribuzione. A significa che accuratezza può nascondere prestazioni peggiori per una popolazione o condizione di utilizzo. A modello tecnicamente preciso può anche essere utilizzato con un obiettivo inappropriato.
Esempio guidato
L'azienda vuole stimare il tempo di riparazione con la sua storia.
- Definire l'output numerico e la decisione che supporterà. verificare che le caratteristiche esistano prima della riparazione.
- Organizza un progetto Data Science e apre una sessione di notebook con l'ambiente necessario.
- Si allena un semplice riferimento e valuta le riparazioni successive senza filtrare le informazioni future.
- Preparare e controllare la artefatto, registrare il modello e i suoi metadati nel catalogo.
- Se un'applicazione ha bisogno di predizioni online, creare una distribuzione se ricalcola ogni notte, prendere in considerazione una job.
- Monitora gli errori per tipo di apparecchiatura e preserva un percorso di correzione umano.
Se il problema cambia per trascrivere gli audio, iniziare a valutare Speech. Non devi avere un tuo modello solo perché conosci Data Science.
Errori comuni
- Per unire il catalogo con distribuzione o job con una endpoint sempre disponibile.
- Per credere che una sessione di notebook rimuove la necessità di IAM e l'accesso ai dati.
- Per memorizzare GPU, data di disponibilità o dimensioni di cluster di una registrazione come confini attuali.
- Trattare "gestito" come un'assenza di costo o responsabilità.
- Aggiungere una dichiarazione etica senza valutare i risultati e i meccanismi di rivendicazione.
Esercizio di elezione
Il computer A dovrebbe trascrivere le registrazioni 300, formare un proprio classificatore e condurre la sua valutazione ogni settimana. Assegnare una capacità ad ogni esigenza.
Soluzione
Evalúa Speech per la trascrizione in batch utilizza Data Science per sviluppare il classificatore. utilizza posti di lavoro o una pipeline per ripetere la valutazione. Il catalogo conserva il modello. Se in seguito hai bisogno di inferenza online, aggiungi una distribuzione. A Supercluster non deve essere somministrato per giustificare questi compiti.
Fonti e recensioni
Controllare OCI IA Portfolio e visualizzare Data Science a MyLearning. Query infrastruttura IA di Oracle per modelli di GPU e attualmente disponibili. Le cifre per una dimostrazione sono esempi della sua data.