Resumen
¿Cómo explorar cinco formas de consultar tablas, documentos, audio e imágenes desde una sola aplicación?
Oracle AI Accelerator combina Oracle Autonomous Database, archivos en OCI Object Storage y modelos de OCI Generative AI. El recorrido prepara el entorno, la conexión, las credenciales y los usuarios con sus módulos antes de iniciar las pruebas.
Las cinco demos muestran Select AI sobre un CSV del Titanic; Select AI con RAG sobre archivos HTML y TXT; OCR y preguntas sobre un PDF con OCI Document Understanding; transcripción de audio a SRT con OCI Speech; y procesamiento de documentos JPG y consultas sobre imágenes con un modelo multimodal.
El audio transcrito se analiza después con un modelo generativo para resumir conversaciones, responder preguntas y explicar un análisis de sentimiento. También se revisan el SQL generado, los comentarios de columnas, las fuentes de las respuestas, los metadatos y los embeddings almacenados en Autonomous, junto con los historiales y las métricas de la aplicación.
Inicio
El recorrido introduce la preparación del entorno antes de ejecutar cinco demos de Oracle AI Accelerator. La aplicación reúne consultas sobre tablas, RAG, procesamiento de documentos, transcripción de audio e interacción multimodal.
Prerrequisitos y conexión a Autonomous
Se prepara una máquina virtual junto con un bucket de OCI Object Storage y una base de datos Autonomous. Desde las opciones de conexión se descarga el wallet y se define su contraseña. El archivo se incorpora a la carpeta de la aplicación y los parámetros de conexión se completan junto con los valores de los servicios que utilizará el ejemplo.
Credenciales OCI e instalación de librerías
Se genera una API Key para acceder a la tenancy y se descargan el archivo de clave y la configuración correspondiente. Estos archivos se colocan en la carpeta de configuración OCI del perfil del usuario. A continuación se instalan las librerías necesarias para comunicarse con los servicios OCI y Oracle Database, esperando a que termine la preparación del entorno.
Inicialización de la base de datos y la aplicación
Se ejecuta el script de inicialización para comprobar la instalación de Conda e inicializar los componentes del ejemplo. El proceso crea tablas, inserta información y prepara procedimientos almacenados que utilizará la aplicación para procesar los datos. Durante la espera se observan las tareas que se ejecutan en la aplicación y en la base de datos; al finalizar se abre la interfaz.
Acceso a la aplicación y revisión del esquema
Se entra a la aplicación con el usuario administrador de la demostración y se abre el esquema de desarrollo en Autonomous. Se comprueba que las tablas se hayan creado y se revisa la tabla de usuarios, donde figuran los accesos y las configuraciones de módulos. Esta inspección permite contrastar la inicialización con los registros disponibles antes de crear otro usuario.
Creación de usuarios y habilitación de módulos
Se crea un usuario de demostración y se habilitan los módulos de Select AI, RAG, OCI Document Understanding, OCI Speech e IA multimodal. El aprovisionamiento genera las configuraciones y los perfiles necesarios. Después se comprueba el nuevo registro y el usuario creado en la base de datos, todavía sin tablas propias cargadas. Se cierra la sesión administrativa para entrar con ese usuario.
Demo 1: Select AI y carga del CSV Titanic
La primera demo carga un archivo CSV con pasajeros del Titanic. Se añaden comentarios a las columnas para aportar contexto sobre sus campos al modelo que utilizará Select AI. El recorrido muestra el flujo entre aplicación, Autonomous y bucket, ejecuta la carga y revisa los tiempos y caracteres procesados. También comprueba que el CSV esté almacenado en Object Storage como respaldo del ejemplo.
Validación de la tabla y sus comentarios
En Autonomous se actualiza la vista del esquema y se comprueba la creación de la tabla Titanic. Se consulta su contenido, se inspeccionan la estructura y los tipos de datos, y se revisan los comentarios de las columnas introducidos desde la aplicación. Esta validación conecta el archivo cargado con la tabla real que se utilizará en las preguntas de Select AI.
Consultas en lenguaje natural con Select AI
Se abre el chat de Select AI, donde la aplicación muestra la estructura y el contenido de la tabla en una vista JSON. La prueba pregunta cuántos sobrevivientes hay en el dataset del Titanic; la respuesta de esa carga indica 342 personas y presenta la consulta generada. El ejemplo muestra el paso desde la pregunta en lenguaje natural hasta el resultado sobre los datos importados.
Explicación del SQL y exportación del chat
Se revisan las opciones de narración de la respuesta, visualización del SQL y explicación de la consulta. Una segunda pregunta consulta cuántos pasajeros viajaban en primera clase; el dataset del ejemplo devuelve 216. Después se muestra la exportación de la conversación y las métricas de tiempo y caracteres que presenta la aplicación para revisar las consultas realizadas.
Demo 2: Select AI con RAG sobre HTML
La segunda demo guarda una página web como archivo HTML y la carga en el módulo de Select AI con RAG. Se revisan los resultados del procesamiento y el registro del archivo junto con el CSV anterior. Después se abre el chat y se pregunta por los beneficios de Select AI con RAG, utilizando como contenido de referencia la página que acaba de incorporarse.
Carga de TXT y respuestas con fuentes
Se añade un archivo TXT con información sobre Oracle al contenido que ya estaba disponible en RAG. Tras completar la carga se formula una pregunta general sobre Oracle. La respuesta incluye información recuperada y el archivo del que procede, además del tiempo de procesamiento. El recorrido muestra cómo ampliar las fuentes del asistente sin cambiar el esquema de interacción del chat.
Resúmenes con RAG y almacenamiento vectorial
Se solicita un resumen sobre Oracle y Select AI con la información de los archivos cargados. El expositor relaciona los archivos del bucket con su almacenamiento vectorial en Autonomous, desde donde se recupera el contenido para responder. También muestra la posibilidad de guardar la conversación y analizarla después. El ejemplo se centra en consultar información semiestructurada mediante RAG.
Demo 3: OCR con OCI Document Understanding
Se revisa la tabla de documentos, inicialmente vacía, y su campo de embeddings antes de cargar un PDF. La aplicación envía el archivo al bucket y crea un trabajo de OCI Document Understanding para extraer texto mediante OCR. Al terminar se revisan el tiempo de procesamiento y la cantidad de caracteres extraídos, preparando el contenido que se consultará en el siguiente paso.
Embeddings y consultas sobre el documento
Se comprueba en la tabla de documentos que el procesamiento haya almacenado el texto extraído, sus metadatos y los embeddings. Después se selecciona un modelo generativo y se formula una pregunta sobre el contenido del PDF. La demo utiliza un modelo Meta Llama y conserva el historial de preguntas y respuestas para continuar la interacción sobre el documento.
Demo 4: Transcripción de audio con OCI Speech
Se carga un archivo MP3 para transcribir una conversación mediante OCI Speech, con salida en formato SRT. La aplicación registra el archivo y prepara su contenido para las consultas posteriores. Tras completar el procesamiento se inspecciona la transcripción y se seleccionan la grabación y el agente que se utilizarán en el chat para analizar el texto.
Análisis de la conversación y sentimiento
Se revisa el prompt de un agente configurado para analizar transcripciones SRT. Con un modelo generativo se obtiene una síntesis de la conversación, se plantean preguntas y se cambia la presentación del diálogo entre operador y cliente. Después se solicita un análisis de sentimiento con su explicación, basado en las palabras de la transcripción. La aplicación muestra también métricas de tokens del intercambio.
Transcripciones y embeddings en Autonomous
Se consulta la tabla de archivos para localizar el MP3 procesado y la conversación almacenada. El expositor relaciona la generación de embeddings con DBMS_VECTOR_CHAIN dentro de la base de datos. Después se comprueba en la tabla de documentos el texto de la transcripción y su representación vectorial, que preparan las búsquedas y las preguntas sobre ese contenido.
Grabación de audio desde la aplicación
Además de subir un archivo, se utiliza el control de grabación de la aplicación para capturar una prueba de voz. Al terminar se crea un trabajo de OCI Speech, se genera la transcripción SRT y se almacena el resultado en Autonomous. Se localiza el último registro y se selecciona esa grabación en el chat para resumirla o formular preguntas con un modelo generativo.
Demo 5: OCR y consultas con IA multimodal
La demo multimodal incorpora un documento escaneado en JPG. En este flujo se utiliza un modelo generativo como intermediario para la extracción, con un agente configurado para OCR. El contenido se procesa y se almacena en el vector store de Autonomous. Una vez completada la carga, se abre el módulo multimodal y se selecciona el documento para consultarlo.
Preguntas sobre documentos e imágenes
Se pregunta de qué trata el documento y se obtiene un extracto de su contenido. Después se carga una imagen para consultar información visual y solicitar un resumen. Otra prueba utiliza una imagen de manzanas y pregunta por sus colores; la respuesta identifica rojo, verde y amarillo. El recorrido muestra la interacción del modelo multimodal con texto e información visual.
Prompts de agentes y cierre
Se repasan los prompts configurados para las distintas entradas: transcripciones SRT, archivos multimodales y extracción de texto con salida Markdown. El expositor presenta estos ajustes como una forma de adaptar la interacción con la información. El cierre conecta los archivos de Object Storage con los datos almacenados en Autonomous y concluye el recorrido por las cinco demos.
Recursos relacionados
- Oracle AI Accelerator — Código y guías de instalación
- Oracle Select AI — Consultas en lenguaje natural
- Select AI con RAG — Búsqueda sobre tus documentos
- OCI Document Understanding — Extracción y OCR
- OCI Speech — Transcripción de audio
- OCI Generative AI — Modelos y capacidades
- DBMS_VECTOR_CHAIN — Embeddings y procesamiento vectorial