Resumo
Como pode CodeLlama 13B ser adaptado para SQL e PL/SQL exemplos com AI Quick Actions?
A demonstração usa OCI Data Science para preparar um conjunto de dados JSONL, selecionar um modelo base e configurar ajuste fino. Arquivos e resultados são armazenados em um bucket OCI Object Storage. Versão do modelo, infraestrutura GPU, rede e parâmetros como épocas são selecionados.
O job é monitorado, a procedência do modelo e os parâmetros são revistos, e um endpoint é implantado. A invocação Python inclui suporte Server-Sent Events e autenticação através de ADS e Resource Principal.
Test Your Model usa uma pergunta do conjunto de dados de treinamento para inspecionar o SQL gerado e nomes de colunas. Uma implementação extra baseada em código converte JSONL em CSV e separa aplicativos de treinamento e bate-papo. O narrador explica que a resposta final do teste ainda precisa ser ajustada.
Início
AI Quick Actions em OCI Data Science é introduzido para adaptar modelos pré-treinados através de ajuste fino. A passagem usa CodeLlama com um conjunto de dados de geração de código personalizado antes de implantar o modelo ajustado e invocação de teste.
Preparação do conjunto de dados JSONL para SQL e PL/SQL
O conjunto de dados A das perguntas SQL e PL/SQL é preparado no formato JSONL. O apresentador explica que as linhas podem ser processadas independentemente. O arquivo é carregado em Data Science ou diretamente em Object Storage como entrada para ajuste fino do modelo.
Garrafa Object Storage com versão
Um bucket OCI Object Storage com versão de objetos habilitados é preparado como pré-requisito. Este destino é selecionado no fluxo de ajuste para armazenar os resultados ajustados do modelo.
CodeLlama 13B configuração de ajuste
CodeLlama 13B é selecionado em AI Quick Actions, e o ajuste se abre. A localização do conjunto de dados e o arquivo são escolhidos, uma etiqueta de versão do modelo é definida, e o bucket preparado é selecionado para resultados antes da configuração da infraestrutura.
GPU infraestrutura e parâmetros de treinamento
A infraestrutura GPU e o mesmo VCN que o ambiente Data Science são selecionados. A integração de logs é apresentada para monitoramento, e parâmetros como épocas são configurados. O fluxo é então revisto, e o job é submetido através do AI Quick Actions.
Monitoramento job e revisão execução
Em View Console, revisa-se o estado do trabalho no OCI. Ao terminar, consultam-se a proveniência do modelo e os parâmetros da execução. O narrador informa que o fine-tuning dessa execução durou aproximadamente 10 minutos. A revisão relaciona o modelo resultante à sua configuração de treinamento.
Aposentadoria do modelo ajustado
Retorna-se ao AI Quick Actions para implantar o modelo ajustado e selecionar a infraestrutura GPU de inferência. O console permite acompanhar o estado da implantação e suas solicitações de trabalho. O narrador informa um tempo aproximado de 20 minutos para essa implantação, antes de seguir para o endpoint.
Invocação de endpoint de Python
Opções de invocação mostram o endpoint e um exemplo Python. O código é copiado para um arquivo Data Science, e o suporte Server-Sent Events está preparado. Este servidor recebe mensagens como um fluxo de atualizações para o aplicativo.
Autenticação com ADS e Resource Principal
O exemplo Python muda a autenticação para ADS com Resource Principal. A aplicação invoca o modelo usando o permissões do OCI recurso onde ele é executado. O exemplo é então executado e apresentado como um ponto de partida para adaptar a integração a outras aplicações.
Modelo de teste com perguntas de dataset
Em Test Your Model, copia-se uma pergunta do próprio dataset de treinamento. A resposta SQL é examinada, e os nomes das colunas são comparados com os exemplos carregados. A prova permite revisar essa saída do modelo ajustado usando um dado de treinamento; o percurso não apresenta uma avaliação independente com perguntas novas.
CodeLlama Fine-tuning by code
O segmento extra apresenta uma implementação baseada em código para comparação com AI Quick Actions. O mesmo conjunto de dados JSONL é convertido para CSV, e aplicativos de treinamento e teste de bate-papo separados são usados. O apresentador revisa parâmetros e configurações, começa a treinar e acelera essa parte do vídeo.
Teste de bate-papo treinado por código.
O aplicativo de bate-papo extra é executado e interrogado. Sua resposta inclui algumas informações do conjunto de dados, mas o narrador explica que mais ajustes são necessários para a precisão. O fechamento compara esta implementação com a preparação OCI Data Science AI Quick Actions.