A modello generativo può scrivere qualcosa di utile e allo stesso tempo introdurre una falsa informazione. Scopri come separare come generare, quale contesto riceve e come controllare la risposta.
Obiettivi: spiegare token, parametri e cura Per confrontare l'architettura trasformata; Per progettare prompts verificabile e scegliere tra la prombing, RAG e la regolazione fine.
Concetti Chiave
A Modello di lingua grande (LLM) modella gli schemi del linguaggio. Nella generazione autoregressiva, acquisisce il contesto, calcola i punteggi dei token possibili, ne seleziona uno e lo aggiunge al contesto per continuare. Termina quando raggiunge una condizione di uscita, come un token finale o un limite di lunghezza.
A Token Può essere una parola, una parte di una parola o un segno. tokenizzazione dipende dal modello e dalla lingua. Per contare le parole non significa contare token. Il vocabolario non scompare e viene ricostruito in ogni frase: il contesto modifica le probabilità dei suoi elementi.
The parametri sono valori appresi, come pesos. Gli token sono unità di ingresso o di uscita, e non sono parametri. The finestra di contesto limita ciò che un'invocazione può considerare. La dimensione del modello, numerica accuratezza e la lunghezza del contesto hanno un impatto su risorse. più parametri non garantiscono al meglio un risultato migliore nel vostro compito.
Riformazioni e incorporazioni
The auto-attenzione permette di collegare posizioni da una sequenza e riflettere informazioni rilevanti. La rappresentazione della posizione porta l'ordine. In "Ana mettere l'apparecchiatura al tavolo perché è stato danneggiato", il contesto aiuta a collegare "danneggiato" con l'apparecchiatura. Questa capacità non ha fornito una garanzia di una corretta comprensione.
| Variante | Carta comune | Esempio |
|---|---|---|
| Encoder | Produrre rappresentazioni di testo | Classificazione o incorporazioni |
| Decoder | Generare token condizionato da contesto | Scrivere o parlare |
| Incoder- decoder | Trasformare una sequenza in un'altra | Traduzione: |
I trasformatori permettono che alcune delle lavorazioni siano parallele durante la formazione. Questo non significa che una generazione autoregressiva conosca il suo futuro token. Due cure impediscono loro di essere utilizzati. A embedding rappresenta il contenuto come vettore per confrontare relazioni apprese; non è un riassunto in spagnolo né una copia cifrata del documento. Documenti e query devono usare uno spazio di embedding compatibile.
Propting, RAG e fine-tuning
A chiarifica l'attività, il contesto, le restrizioni e il formato previsto. Zero-shot non dà esempi. pochi colpi incorpora alcuni. Imparare in condizioni di contesto la risposta senza cambiare pesi. Chiedere una breve e verificabile spiegazione rende più facile rivedere un risultato. non dà accesso garantito al ragionamento interno o prova la veridicità.
Attrezzature per la formazione Formazione con istruzioni e risposte per migliorare il monitoraggio delle attività. RLH utilizza il feedback umano per allineare la condotta; non equivale a modificare un prompt in ogni chiamata.
RAG riguadagna frammenti rilevanti, li incorpora nel contesto e genera una risposta sostenuta da loro. È utile per le politiche private o le informazioni che cambiano. Finitura adattare un modello pre-formato con esempi, ad esempio per un compito o uno stile dedicato. Può impostare tutti i pesi o una parte dei parametri imponibili. Non è un sostituto automatico per la visualizzazione dei dati correnti.
Comincia con una semplice valutazione e un prompt. Migliora il recupero se manca la prova e considera fine-tuning se rimane un problema comportamentale che gli esempi e le istruzioni non risolvono. Possono essere combinati. Non c'è obbligo di usarli tutti.
Esempio guidato
Una politica dice: "La recensione preventiva è inclusa durante 90 giorni dopo la consegna." L'utente chiede circa un computer dedicato 35 giorni fa.
- Riforma la versione corrente e controlla che l'utente possa accedervi.
- Contribuisce il frammento e i dati dall'apparecchiatura al modello, separati dalle istruzioni.
- Ha chiesto una breve risposta con riferimento alla politica e senza creare condizioni.
- Controllare l'aritmetica:
90 − 35 = 55entro il periodo, se non ci sono altre condizioni. - Se la data o le versioni in conflitto sono mancanti, lei richieste chiarifica o riconosce prove insufficienti.
La temperatura inferiore A riduce di solito la sua variazione. non fa un falso fatto vero. Citazione A dovrebbe anche mirare a una fonte che supporta davvero l'affermazione.
Errori comuni
- Per unire un'integrazione con la risposta testuale del modello di chat.
- Per dire che pochi colpi re-trains pesi o che fine-tuning aggiorna automaticamente le politiche.
- Assumere che tutti i trasformatori abbiano l'obbligo di codificare e decoder.
- Trattare RAG come garanzia di zero allucinazioni: recupero o generazione può fallire.
- Assicurarsi che più contesto aiuta sempre, anche se si introducono rumore o cattive istruzioni.
Esercizio di pensionamento
Un'applicazione dovrebbe rispondere con un inventario che cambia ogni ora e utilizzare un formato breve. Cosa proveresti prima di addestrare un nuovo modello?
Soluzione
L'inventario autorizzato di Query che utilizza uno strumento e contribuisce al contesto. utilizzare le istruzioni e gli esempi per il formato. Se le informazioni sono nel documento, valutare RAG. La fine-tuning può aiutare con il comportamento persistente, ma non permette al modello di conoscere le azioni di quest'ora da solo. Controllare entrambi i dati e il formato accuratezza.
Fonti e recensioni
Controllare Generative AI e LLM Foundations at MyLearning. Per l'origine dell'architettura, consultare L'attenzione è tutto quello che ti serve. Si riferisce a queste idee OCI Generative AI.