Modelo generativo A pode escrever algo útil e ao mesmo tempo introduzir uma informação falsa. Aprenda a separar como gerar, qual o contexto recebe e como verificar sua resposta.
Objetivos: Explique tokens, parâmetros e cuidado para comparar arquitetura transformada; Projetar prompts verificável e escolher entre promping, RAG e ajuste fino.
Conceitos de Chave
A Modelo de linguagem grande (LLM) modela padrões de linguagem. Na geração autorregressiva, é preciso contextualizar, obter notas para o potencial tokens, selecionar um e adicioná-lo ao contexto para continuar. Ele termina com uma condição de saída, como um sinal final ou um limite de comprimento.
A token Pode ser uma palavra, parte de uma palavra ou sinal. tokenização depende de modelo e linguagem. Contar palavras não significa contar tokens. O vocabulário não desaparece e é reconstruído em cada frase: o contexto modifica as probabilidades de seus elementos.
O parâmetros São valores aprendidos, como pesos. Os tokens são unidades de entrada ou saída, e não são parâmetros. O janela de contexto limita o que uma invocação pode considerar. O tamanho do modelo, exatidão numérico e comprimento do contexto têm um impacto sobre recursos. mais parâmetros não garantem melhor resultado em sua tarefa.
Reformas e incorporações
O Auto-atenção permite ligar posições de uma sequência e ponderar informações relevantes. A representação da posição traz a ordem. Em "Ana colocou o equipamento na mesa porque estava danificado", o contexto ajuda a ligar "danificado" com o equipamento. Essa capacidade não deu uma garantia de compreensão adequada.
| Variante | Papel comum. | Exemplo |
|---|---|---|
| Encoder | Produzir representações de texto | Classificação ou incorporação |
| Decodificador. | Gere tokens condicionado pelo contexto. | Escrevendo ou falando |
| Codificador decodificador. | Transforme uma sequência em outra. | Tradução |
Os transformadores permitem que o processamento seja paralelo durante o treinamento. Isso não significa que uma geração autorregressiva conhece seu futuro tokens. O devido cuidado os impede de serem usados. A Incorporando representa conteúdo como um vetor para comparar relações aprendidas; não é um resumo em espanhol nem uma cópia criptografada do documento. Documentos e consultas devem usar um espaço de embeddings compatível.
Propting, RAG e ajuste fino
A linha clara especifica tarefa, contexto, restrições e formato esperado. Zero-shot não dá exemplos. Poucos tiros. Incorpora alguns. Aprender no contexto condiciona a resposta sem mudar de peso. Exigir uma breve e verificável explicação torna mais fácil rever um resultado. não dá acesso garantido ao raciocínio interno ou prova a veracidade.
Afinação de treinamento Treinando com instruções e respostas para melhorar o monitoramento das tarefas. RLHF usa feedback humano para alinhar conduta; Não equivale a editar um alerta em cada chamada.
RAG recupera fragmentos relevantes, os incorpora no contexto e gera uma resposta apoiada por eles. É útil para políticas privadas ou informações que mudam. Afinação. adaptar um modelo pré-treinado com exemplos, por exemplo, para uma tarefa dedicada ou estilo. Ele pode definir todos os pesos ou uma parte dos parâmetros mandatórios. Não é um substituto automático para ver dados atuais.
Começa com uma avaliação simples e rápida. Melhora a recuperação se falta evidência e considera afinação se um problema comportamental permanece que os exemplos e instruções não resolvem. Eles podem ser combinados. Nenhuma obrigação de usar todos eles.
Exemplo passo a passo
Uma política diz: "A revisão preventiva é incluída durante 90 dias após a entrega." O usuário pergunta sobre um computador dedicado 35 dias atrás.
- Reforma a versão atual e verifica se o usuário pode acessá-la.
- Contribui com o fragmento e os dados do equipamento para o modelo, separados das instruções.
- Ele pediu uma breve resposta com referência à política e sem criar condições.
- Verifique a aritmética.
90 − 35 = 55dentro do período, se não houver outras condições. - Se a data ou versões conflitantes estão faltando, ela solicitações Esclarecer ou reconhecer evidências insuficientes.
A baixa temperatura geralmente reduz sua variação. Não faz um fato falso ser verdade. A citação A também deve direcionar uma fonte que realmente suporte a declaração.
Erros comuns.
- Para fundir uma incorporação com a resposta textual do modelo de chat.
- Para dizer que poucos tiros re-treinam pesos ou que ajuste automático atualiza políticas.
- Assumir que todos os transformadores têm a obrigação de codificar e decodificar.
- Trate RAG como uma garantia de zero alucinações: recuperação ou geração podem falhar.
- Certifique-se de que mais contexto sempre ajude, mesmo se você introduzir ruído ou instruções ruins.
Exercício de aposentadoria.
Uma aplicação deve responder com um inventário que muda a cada hora e usa um formato curto. O que você provaria antes de treinar um novo modelo?
Solução
O inventário autorizado da Consulta usando uma ferramenta e contribui com esse resultado para o contexto. Use instruções e exemplos para o formato. Se a informação está no documento, avalie RAG. Fine-tuning pode ajudar com o comportamento persistente, mas não faz o modelo saber sobre as ações desta hora por si só. Verifique os dados exatidão e o formato.
Fontes e revisão
Verifique as fundações Generative AI e LLM em MeuAprender. Para a origem da arquitetura, consulte Atenção é tudo o que você precisa. Ele relaciona essas ideias com OCI Generative AI.