Sintesi
Come si può esplorare cinque modi per query tabelle, documenti, audio e immagini da un'applicazione?
Oracle AI Accelerator combina Oracle Autonomous Database, file nei modelli OCI Object Storage e OCI Generative AI. Il walkthrough prepara l'ambiente, la connessione, le credenziali e gli utenti con i loro moduli prima di iniziare i test.
I cinque demo coprono Select AI su un file Titanic CSV; Select AI con RAG su file HTML e TXT; domande OCR e PDF con OCI Document Understanding; trascrizione audio a SRT con OCI Speech; e l'elaborazione di documenti JPG e domande immagine con un modello multimodale.
L'audio trascritto viene poi analizzato con un modello generativo per riassumere le conversazioni, rispondere alle domande e spiegare l'analisi del sentimento. Il walkthrough ha generato anche le recensioni SQL, i commenti delle colonne, le fonti di risposta, i metadati e le incorporazioni memorizzate in Autonomous, insieme alla cronologia delle applicazioni e alle metriche.
Inizio
Il walkthrough introduce la preparazione dell'ambiente prima di eseguire cinque demo Oracle AI Accelerator. L'applicazione riunisce query da tavolo, RAG, elaborazione dei documenti, trascrizione audio e interazione multimodale.
A causa e connessione a Autonomous
Una macchina virtuale, un bucket OCI Object Storage e un database Autonomous sono preparati. Il wallet viene scaricato dalle opzioni di connessione, con una password per proteggerlo. Il file viene inserito nella cartella dell'applicazione e i parametri di connessione vengono completati con i valori di servizio utilizzati dall'esempio.
Credenziali OCI e installazione della libreria
Viene generato un API Chiave per accedere alla tenancy, e il file chiave e la configurazione corrispondente vengono scaricati. Questi file sono inseriti nella cartella di configurazione OCI del profilo utente. Le librerie necessarie per comunicare con Servizi OCI e Oracle Database sono poi installate, consentendo la preparazione dell'ambiente a finire.
Iniziazione del database e dell'implementazione
Lo script di inizializzazione controlla l'installazione Conda e prepara i componenti di esempio. Crea tabelle, inserisce le informazioni e configura le procedure memorizzate che l'applicazione utilizza per elaborare i dati. Il passeggino segue i compiti in esecuzione nell'applicazione e nel database durante l'attesa; l'interfaccia si apre quando l'inizializzazione termina.
Accesso e revisione dell'attuazione
L'amministratore dimostrativo si iscrive all'applicazione e apre lo schema di sviluppo in Autonomous. La creazione della tabella viene controllata e la tabella dell'utente viene riesaminata per le impostazioni di accesso e modulo. Questa ispezione confronta l'inizializzazione con i record disponibili prima che venga creato un altro utente.
Creazione utente e potenziamento dei moduli
L'utente di dimostrazione A è creato con i moduli Select AI, RAG, OCI Document Understanding, OCI Speech e IA multimodali abilitati. La visualizzazione crea le impostazioni e i profili richiesti. Il nuovo utente di record e database viene quindi controllato, prima che qualsiasi tabelle sia stato caricato per quell'utente. L'amministratore esce e l'utente dimostrativo entra.
1 Demo: Select AI e CSV Caricamento Titanic
La prima demo carica un file CSV contenente passeggeri Titanic. I commenti delle colonne danno il modello utilizzato dal contesto Select AI sui campi. Il passeggino mostra il flusso tra l'applicazione, Autonomous e il bucket, esegue il tempo di elaborazione del carico e le recensioni e i conteggi dei caratteri. Controlla anche la CSV memorizzata in Object Storage come backup per l'esempio.
Validazione della tabella e dei suoi commenti
La visualizzazione dello schema è aggiornata in Autonomous per verificare che la tabella Titanic è stata creata. I contenuti, la struttura, i tipi di dati e i commenti delle colonne inseriti attraverso l'applicazione sono ispezionati. Questa validazione collega il file caricato con la tabella reale utilizzata per le domande Select AI.
Consultazioni in lingua naturale con Select AI
La chat Select AI si apre con una vista JSON della struttura e dei contenuti della tabella. Il test chiede quanti sopravvissuti appaiono nel dataset Titanic; questo particolare carico restituisce 342 persone e mostra la query generata. L'esempio segue una domanda di lingua naturale attraverso il suo risultato sui dati importati.
SQL e chat export
Il walkthrough recensioni risposta narrazione, SQL esposizione e la spiegazione di query. A secondo domanda chiede quanti passeggeri viaggiavano in prima classe; l'esempio dataset restituisce 216. L'esportazione di conversazione e il tempo di applicazione e le metriche di carattere vengono mostrate per la revisione delle query.
2 Demo: Select AI con RAG su HTML
La demo secondo salva una pagina web come file HTML e lo carica nel modulo Select AI con RAG. I risultati Elaborazione e il record di file vengono controllati insieme al precedente CSV. La chat chiede poi i vantaggi di Select AI con RAG, utilizzando la pagina appena ingerita come contenuto di riferimento.
Caricamento di TXT e risposte con fonti
Il file A TXT contenente informazioni Oracle viene aggiunto al contenuto già disponibile per RAG. Dopo le finiture di carico, viene posta una domanda generale Oracle. La risposta include le informazioni recuperate e il suo file sorgente, insieme al tempo di elaborazione. Il walkthrough mostra come estendere le sorgenti assistente mantenendo la stessa interazione di chat.
Sommari con RAG e Vector archiviazione
Viene richiesto un sommario di Oracle e Select AI utilizzando i file caricati. Il presentatore collega i file del bucket con il loro vettore archiviazione in Autonomous, dove il contenuto viene recuperato per rispondere alle domande. La conversazione può anche essere salvata per un'analisi successiva. L'esempio si concentra sulla ricerca di informazioni semistrutturate tramite RAG.
Demo 3: OCR con OCI Document Understanding
La tabella dei documenti inizialmente vuota e il suo campo di embeddings sono ispezionati prima che un PDF sia caricato. L'applicazione invia il file al bucket e crea un OCI Document Understanding job per estrarre il testo utilizzando OCR. Il tempo Elaborazione e i conteggi dei caratteri estratti vengono quindi esaminati, preparando i contenuti per la prossima fase di query.
Embeddings e consultazioni sul documento
La tabella dei documenti viene controllata per il testo estratto, i metadati e le embeddings memorizzate mediante l'elaborazione. Viene quindi selezionato un modello generativo per porre una domanda sul PDF. La demo utilizza un modello Meta Llama e mantiene la cronologia delle domande e delle risposte per continuare la conversazione del documento.
Demo 4: Trascrizione audio con OCI Speech
Un file MP3 viene caricato per trascrizione tramite OCI Speech, con uscita SRT. L'applicazione registra il file e prepara il suo contenuto per le domande successive. Una volta terminato l'elaborazione, la trascrizione viene ispezionata, e la registrazione e l'agente vengono selezionati per l'analisi del testo nella chat.
L'analisi della conversazione e del sentimento
Il prompt di un agente configurato per analizzare trascrizioni SRT è rivisto. Il modello generativo A riassume la conversazione, risponde alle domande e modifica la presentazione del dialogo operatore e cliente. L'analisi del sentimento e la sua spiegazione sono poi richieste usando le parole di trascrizione. L'applicazione mostra anche metriche token per lo scambio.
Trascrizioni e incorporazioni in Autonomous
La tabella dei file è richiesta per individuare la MP3 elaborata e la conversazione memorizzata. Il presentatore collega la generazione di embeddings con DBMS_VECTOR_CHAIN all'interno del database. La tabella dei documenti viene quindi controllata per il testo trascritto e la sua rappresentazione vettoriale, che prepara ricerche e domande su questo contenuto.
Registrazione audio dall'applicazione
Oltre agli upload dei file, il controllo di registrazione dell'applicazione cattura un test vocale. Quando la registrazione termina, una OCI Speech job produce una trascrizione SRT e memorizza il risultato in Autonomous. L'ultimo record si trova, e la registrazione viene selezionata nella chat per i riassunti o le domande utilizzando un modello generativo.
Demo 5: consultazioni OCR e Multimodal IA
La demo multimodale ingerisce un documento JPG scansionato. Un modello generativo funge da intermediario per l'estrazione, utilizzando un agente configurato per OCR. Il contenuto viene elaborato e memorizzato nel archivio vettoriale Autonomous. Una volta terminato il caricamento, il modulo multimodale si apre e il documento viene selezionato per le query.
Domande su documenti e immagini
La domanda A chiede che cosa si tratti del documento e restituisce un estratto del suo contenuto. Un immagine viene quindi caricato per domande di informazioni visive e un riepilogo. Un altro test utilizza una mela immagine e chiede i suoi colori; la risposta identifica il rosso, il verde e il giallo. Il passeggino mostra interazione multimodale con testo e informazioni visive.
Prompts agenti e chiusura
Il walkthrough recensioni prompts configurato per diversi ingressi: trascrizioni SRT, file multimodali e estrazione di testo con uscita Markdown. Il presentatore descrive queste impostazioni come un modo per adattare l'interazione con le informazioni. La chiusura collega i file Object Storage con i dati memorizzati in Autonomous e conclude le cinque demo.
Risorse relativo
- Oracle AI Accelerator - codice e guide di installazione
- Oracle Select AI - Consultazione in lingua naturale
- Select AI con RAG - Search sui tuoi documenti
- OCI Document Understanding - Estrazione e OCR
- OCI Speech - Trascrizione audio
- OCI Generative AI - Modelli e funzionalità
- DBMS_VECTOR_CHAIN - Embeddings e lavorazione vettoriale