Resumen
¿Cómo importar un modelo de Hugging Face y desplegarlo para inferencia en OCI Data Science?
La demostración utiliza AI Quick Actions para registrar un modelo por su identificador, guardar sus archivos en OCI Object Storage y desplegarlo sobre infraestructura GPU de NVIDIA. Se crea un bucket con versionamiento y se autentica la terminal de Data Science en Hugging Face mediante CLI y un token de acceso.
Después se seleccionan el modelo, el contenedor, el bucket y la carpeta de destino. Para el despliegue se elige la infraestructura y se mantienen los argumentos del contenedor por defecto. Una vez disponible, se realizan consultas con parámetros y se revisan las opciones de invocación desde CLI, Python y Java.
El recorrido termina comprobando los archivos del modelo en Object Storage, donde quedan disponibles para utilizarlos en otros despliegues.
Inicio
El expositor presenta la importación de modelos desde Hugging Face a OCI Data Science para utilizarlos en proyectos mediante un endpoint o desde CLI. El recorrido se centra en preparar el almacenamiento, registrar el modelo y desplegarlo para realizar consultas de inferencia.
Creación del bucket y versionamiento
Se crea un bucket de OCI Object Storage, se le asigna un nombre y se habilita el versionamiento. Este destino se utilizará después para almacenar los archivos del modelo que se registrará mediante AI Quick Actions. Una vez preparado el bucket, se abre una terminal en Data Science.
Autenticación en Hugging Face con CLI y token
Desde la terminal de Data Science se inicia la autenticación con la CLI de Hugging Face. En la configuración de la cuenta se crea un token de acceso, con nombre y opciones seleccionadas para el ejemplo. Después se utiliza ese token en la terminal para completar el inicio de sesión antes de registrar el modelo.
Registro del modelo en AI Quick Actions
En AI Quick Actions se inicia el registro del modelo y se busca el identificador obtenido desde Hugging Face. Se seleccionan el contenedor, el bucket preparado y la carpeta donde se guardarán los archivos. Durante el registro se habilita la opción de fine-tuning y se espera la descarga del modelo al bucket.
Despliegue del modelo en GPU
Se selecciona el modelo registrado y la infraestructura GPU de NVIDIA para desplegarlo. El formulario permite ajustar argumentos del contenedor, pero en la demostración se conservan los valores por defecto. Se inicia el despliegue y se espera a que termine el aprovisionamiento para probar la inferencia.
Pruebas e invocación con CLI, Python y Java
Con el despliegue disponible se realizan consultas al modelo y se ajustan parámetros de las pruebas. Después se muestran opciones y ejemplos de invocación mediante CLI, Python y Java. El recorrido termina en Object Storage para comprobar que los archivos del modelo se hayan descargado y estén disponibles como base para posteriores despliegues.