Resumen
¿Cómo adaptar CodeLlama 13B a ejemplos de SQL y PL/SQL con AI Quick Actions?
La demostración utiliza OCI Data Science para preparar un dataset JSONL, seleccionar el modelo base y configurar un fine-tuning. Los archivos y resultados se guardan en un bucket de OCI Object Storage con versionamiento. Se eligen la versión del modelo, la infraestructura GPU, la red y parámetros como las épocas.
Después se sigue el job, se revisan la procedencia y los parámetros del modelo ajustado y se despliega un endpoint. La invocación desde Python incorpora soporte para Server-Sent Events y autenticación con ADS y Resource Principal.
La prueba Test Your Model utiliza una pregunta del propio dataset de entrenamiento y revisa el SQL y los nombres de columnas generados. Como extra se presenta una implementación mediante código que convierte JSONL a CSV y separa las aplicaciones de entrenamiento y chat. En esa prueba final, el narrador señala que la respuesta todavía necesita ajustes.
Inicio
Se presenta AI Quick Actions de OCI Data Science como herramienta para adaptar modelos preentrenados mediante fine-tuning. El recorrido utiliza CodeLlama para trabajar con un dataset propio de generación de código, antes de desplegar el modelo ajustado y probar su invocación.
Preparación del dataset JSONL para SQL y PL/SQL
Se prepara un dataset de preguntas de SQL y PL/SQL en formato JSONL. El expositor explica que sus líneas pueden procesarse de forma independiente. El archivo se carga en Data Science o directamente en Object Storage para utilizarlo como entrada al ajuste del modelo.
Bucket de Object Storage con versionamiento
Como prerrequisito se prepara un bucket de OCI Object Storage con la opción de versionamiento de objetos habilitada. Este destino se seleccionará en el flujo de fine-tuning para conservar los resultados del modelo ajustado.
Configuración del fine-tuning de CodeLlama 13B
En AI Quick Actions se selecciona CodeLlama 13B y se abre la opción de fine-tuning. Se indica la ubicación del dataset, se elige el archivo y se define una etiqueta de versión para el modelo. También se selecciona el bucket preparado como destino de los resultados antes de continuar con la infraestructura.
Infraestructura GPU y parámetros de entrenamiento
Se elige la infraestructura GPU y la misma VCN del entorno de Data Science. Se presenta la posibilidad de integrar registros para seguir la ejecución, y se configuran parámetros como las épocas. Después se revisa el flujo y se envía el trabajo para ejecutarlo desde AI Quick Actions.
Seguimiento del job y revisión de la ejecución
Desde View Console se revisa el estado del trabajo en OCI. Cuando termina, se consulta la procedencia del modelo y los parámetros con los que se ejecutó. El narrador indica que el fine-tuning de esa ejecución duró aproximadamente 10 minutos. La revisión permite relacionar el modelo resultante con su configuración de entrenamiento.
Despliegue del modelo ajustado
Se regresa a AI Quick Actions para desplegar el modelo ajustado y seleccionar la infraestructura GPU de inferencia. Desde la consola se sigue el estado del despliegue y sus solicitudes de trabajo. El narrador señala un tiempo aproximado de 20 minutos para esa implementación antes de continuar con el endpoint.
Invocación del endpoint desde Python
En las opciones de invocación se consulta el endpoint y un ejemplo de llamada desde Python. El código se copia a un archivo en Data Science y se prepara soporte para Server-Sent Events. Esta parte permite recibir mensajes enviados por el servidor como un flujo de actualizaciones para la aplicación.
Autenticación con ADS y Resource Principal
El ejemplo de Python cambia su autenticación para utilizar ADS con Resource Principal. La aplicación usa los permisos del recurso OCI donde se ejecuta para invocar el modelo. Después se ejecuta el ejemplo y se presenta como punto de partida para personalizar la integración con otras aplicaciones.
Prueba del modelo con preguntas del dataset
En Test Your Model se copia una pregunta del propio dataset de entrenamiento. Se revisa la respuesta SQL y se comprueba que los nombres de columnas coincidan con los ejemplos cargados. La prueba permite examinar esa salida del modelo ajustado con un dato del entrenamiento; el recorrido no presenta una evaluación independiente con preguntas nuevas.
Extra: Fine-tuning de CodeLlama mediante código
El bloque adicional muestra una implementación mediante código para comparar la preparación con el flujo de AI Quick Actions. Se convierte el mismo dataset JSONL a CSV y se utilizan dos aplicaciones: una para entrenamiento y otra para probar un chat. El expositor repasa parámetros y configuraciones, inicia el entrenamiento y acelera esa parte del video.
Prueba del chat entrenado mediante código
Se ejecuta la aplicación de chat del bloque adicional y se formula una consulta. La respuesta contiene parte de la información del dataset, pero el narrador indica que aún requiere ajustes para mejorar la precisión. El cierre compara el trabajo de esta implementación con la preparación mediante AI Quick Actions de OCI Data Science.