OCI Generative AI permite incorporar modelos gerenciados em uma aplicação. Serviço de inferência, um modelo personalizado, busca por vetores e uma consulta SQL têm responsabilidades diferentes.
Objetivos: Reconhecer Playground, modelos e objetivos; Para distinguir treinamento de hospedagem; Relate AI Vector Search com RAG; E explicar como Select AI usa linguagem natural sobre dados estruturados.
Conceitos de Chave
Modelo A de Conversar. gera uma resposta. Um modelo. Incorporando transforma o conteúdo em uma representação numérica. As famílias, versões, regiões e modalidades admitiram mudança: verifique o catálogo disponível para uso. Os nomes antigos que aparecem em uma demonstração não são uma lista exaustiva hoje.
O Playground. permite explorar prompts e parâmetros sem começar com código. Quando um teste é útil, você o integra com o API e o SDK correspondente. O teste do console A não exibe automaticamente o aplicativo completo.
Reformas uma de cada vez. Temperatura Influencie a distribuição da amostragem; Top-p Limita os candidatos por probabilidade acumulada; Top-k.Quando disponível, por quantidade. O limite de saída restringe o comprimento e não restringe exatidão. Guias de preâmbulo A sem retreinamento de pesos.
Personalização e grupos dedicados.
O serviço oferece modelos pré-treinados e opções de personalização para modelos suportados. No fluxo de ajuste apresentado pelo curso, você prepara exemplos, o Object Storage preserva e usa computação de um Dedicated AI Cluster Treinar. O resultado é um modelo personalizado. A recurso hospedagem e um endpoint servir inferências.
Não confunda o dele. Grupo de ajustes finos. com Hospedando. Um ajusta o modelo e o outro atende solicitações. Métodos eficientes como T-Few ou LoRA atualizam uma parte dos parâmetros mandatórios. A disponibilidade deles depende da família. Verifique os formatos, permissões, avaliação, capacidade e custos antes de executar o lab. Os exercícios deste guia não exigem que eles sejam postos em prática.
AI Vector Search e Select AI
AI Vector Search Embutindo armazenamento em colunas de tipo VECTOR com dados relativos. A função de distância A permite procurar semelhanças e combiná-las com filtros de negócios. As incorporações podem ser geradas com um modelo ONNX suportado dentro da base ou com um serviço externo como configurado.
Select AI converte perguntas em linguagem natural em operações sobre dados estruturados usando um perfil IA, contexto de esquema e uma configuração LLM. Pode devolver SQL, resultados ou uma narrativa como uma ação. A consulta gerada deve respeitar permissões e ser verificada. Isso não é uma busca vetorial por definição.
Exemplos: "Ele procura instruções semelhantes a este mau funcionamento" aponta para recuperação semântica "Adicionar reparos de setembro pela sede" precisa de uma consulta e agregação adequada. Para escrever uma resposta com documentos, RAG adiciona a geração após a recuperação. O cara. VECTOR Por si só não escreve nem permite o acesso.
Exemplo passo a passo
A assistente deve explicar uma política de reparo e dar uma olhada no número de ordens abertas.
- Teste o formato de resposta no Playground com uma política fictícia e sem dados pessoais.
- Prepare documentos autorizados, fragmente e gere incorporações compatíveis com consultas.
- Reforma o fragmento relevante e cita a versão usada.
- Para contar ordens, use uma consulta controlada ou Select AI com tabelas aprovado inspecionar SQL, filtros e resultados.
- Ele dá os dois resultados ao modelo de bate-papo, distinguindo a política documental com a figura calculada.
- Ele avalia questões ambíguas, fontes ausentes e negação de permissões antes de integrar a aplicação.
Não use afinação para memorizar o número de comandos: vai mudar. Também não suponha que o provedor LLM recebe ou mantém o mesmo em qualquer configuração. Verifique o fluxo de dados.
Erros comuns.
- Para fundir Object Storage com o computação que treina o modelo.
- Trate um endpoint como o conjunto de dados de treinamento.
- Dizer que Select AI conhece todos os tabelas sem um contexto adequado e permissões.
- Compare vetores gerados em espaços incompatíveis.
- Para interpretar o alvo exatidão de um índice aproximado como uma garantia exata para cada consulta.
Exercício de design.
O usuário do A pergunta "Quantas ordens da minha sede estão pendentes?" e então "O que a política diz sobre atrasos?" O que duas rotas de dados assistente requer?
Solução
O primeiro requer consulta estruturada com filtro central e estado, executado com permissão. O segundo precisa voltar e usar a política atual como evidência. Os dois podem ser combinados com uma resposta, mas você não pode substituir uma contagem exata por similaridade vetorial ou assumir que recuperar um documento dá acesso a todas as ordens.
Fontes e revisão
Consulta OCI Generative AI, AI Vector Search y Select AI. O material usa o banco de dados Oracle 23ai e Oracle AI Database 26ai. Verifique a documentação e disponibilidade de sua versão.