Resumo
Como você pode explorar cinco maneiras de consultar tabelas, documentos, áudio e imagens de uma aplicação?
Oracle AI Accelerator combina Oracle Autonomous Database, arquivos em OCI Object Storage e OCI Generative AI modelos. A caminhada prepara o ambiente, conexão, credenciais e usuários com seus módulos antes de iniciar os testes.
As cinco demos cobrem Select AI sobre um arquivo Titanic CSV; Select AI com RAG sobre arquivos HTML e TXT; OCR e perguntas em PDF com OCI Document Understanding; transcrição de áudio para SRT com OCI Speech; e processamento de documentos JPG e consultas imagem com um modelo multimodal.
O áudio transcrito é então analisado com um modelo generativo para resumir conversas, responder perguntas e explicar a análise de sentimentos. A análise também gerou SQL, comentários de coluna, fontes de resposta, metadados e embeddings armazenadas em Autonomous, juntamente com histórico de aplicação e métricas.
Início
A caminhada introduz a preparação do ambiente antes de executar cinco demos Oracle AI Accelerator. A aplicação reúne consultas de tabelas, RAG, processamento de documentos, transcrição de áudio e interação multimodal.
Devido e conexão com Autonomous
Uma máquina virtual, um bucket OCI Object Storage e um banco de dados Autonomous são preparados. A wallet é baixada das opções de conexão, com uma senha para protegê-la. O arquivo é colocado na pasta de aplicativos, e os parâmetros de conexão são completados com os valores de serviço usados pelo exemplo.
OCI Credenciais e instalação de biblioteca
Um API Chave é gerado para acessar a locação, e o arquivo chave e a configuração correspondente são baixados. Esses arquivos são colocados na pasta de configuração OCI do perfil do usuário. As bibliotecas necessárias para se comunicar com Serviços OCI e Oracle Database são então instaladas, permitindo que a preparação do ambiente termine.
Base de dados e início de implementação
O script de inicialização verifica a instalação do Conda e prepara os componentes de exemplo. Ele cria tabelas, insere informações e estabelece procedimentos armazenados que o aplicativo usa para processar dados. A caminhada segue as tarefas que estão na aplicação e banco de dados enquanto espera; A interface se abre quando a inicialização termina.
Acesso e revisão da implementação
O administrador de demonstração se inscreve na aplicação e abre o esquema de desenvolvimento em Autonomous. A criação da tabela é verificada, e a tabela do usuário é revisada para configurações de acesso e módulo. Esta inspeção compara a inicialização com os registros disponíveis antes de outro usuário ser criado.
Criação do usuário e empoderamento do módulo
O usuário de demonstração A é criado com os módulos Select AI, RAG, OCI Document Understanding, OCI Speech e IA multimodal habilitados. Provisionar cria as configurações e perfis necessários. O novo registro e usuário de banco de dados são verificados, antes que qualquer tabelas tenha sido carregado para esse usuário. O administrador assina e o usuário da demonstração entra.
1 Demo: Select AI e CSV Titanic Carregando
A primeira demo carrega um arquivo CSV contendo passageiros Titanic. Comentários de coluna dão o modelo usado pelo contexto Select AI sobre os campos. A passagem mostra o fluxo entre a aplicação, Autonomous e o bucket, executa a carga e revê o tempo de processamento e a contagem de caracteres. Também verifica o CSV armazenado em Object Storage como um backup para o exemplo.
Validação da tabela e seus comentários
A visão do esquema está atualizada em Autonomous para verificar se a mesa Titanic foi criada. Seu conteúdo, estrutura, tipos de dados e comentários de coluna inseridos através do aplicativo são inspecionados. Esta validação conecta o arquivo carregado com a tabela usada para perguntas Select AI.
Consultas de linguagem natural com Select AI
O bate-papo Select AI abre com uma visão JSON da estrutura e conteúdo da tabela. O teste pergunta quantos sobreviventes aparecem no conjunto de dados do Titanic. Esta carga em particular retorna pessoas 342 e mostra a consulta gerada. O exemplo segue uma questão de linguagem natural até o resultado sobre os dados importados.
SQL e exportação de conversação
A análise da narração de resposta, exposição SQL e explicação de consulta. A segundo pergunta quantos passageiros viajaram na primeira classe; O conjunto de dados de exemplo devolve 216. Exportação de conversação e as métricas de tempo e caráter da aplicação são mostradas para revisão das consultas.
2 Demo: Select AI com RAG sobre HTML
A demonstração segundo salva uma página web como um arquivo HTML e carrega-o para o Select AI com o módulo RAG. Os resultados do Processamento e o registro do arquivo são verificados ao lado do CSV anterior. O bate-papo então pergunta sobre os benefícios de Select AI com RAG, usando a página recém ingerida como conteúdo de referência.
Carregamento de TXT e respostas com fontes
A TXT arquivo contendo informação Oracle é adicionado ao conteúdo já disponível para RAG. Depois de carregar termina, uma pergunta geral Oracle é feita. A resposta inclui informações recuperadas e seu arquivo fonte, juntamente com o tempo de processamento. O passeio mostra como estender as fontes assistente mantendo a mesma interação de chat.
Resumos com RAG e Vector armazenamento
Um resumo de Oracle e Select AI é solicitado usando os arquivos carregados. O apresentador conecta os arquivos do bucket com seu vetor armazenamento em Autonomous, onde o conteúdo é recuperado para responder perguntas. A conversa também pode ser guardada para análise posterior. O exemplo se concentra em consultar informações semiestruturadas através do RAG.
3 Demo: OCR com OCI Document Understanding
A tabela de documentos inicialmente vazia e seu campo de incorporação são inspecionados antes de um PDF ser carregado. O aplicativo envia o arquivo para o bucket e cria um OCI Document Understanding job para extrair texto usando OCR. Processamento tempo e contagem de caracteres extraídos são então revisados, preparando conteúdo para a próxima etapa de consulta.
Embutimentos e consultas sobre o documento.
A tabela de documentos é verificada para o texto extraído, metadados e embeddings armazenados pelo processamento. Um modelo generativo é selecionado para fazer uma pergunta sobre o PDF. A demo usa um modelo Meta Llama e mantém o histórico de perguntas e respostas para continuar a conversa do documento.
Demo 4 Tradução e sincronia: OCI Speech
Um arquivo MP3 é carregado para transcrição através de OCI Speech, com saída SRT. O aplicativo registra o arquivo e prepara seu conteúdo para consultas posteriores. Quando o processamento termina, a transcrição é inspecionada, e a gravação e o agente são selecionados para analisar o texto no bate-papo.
A análise da conversa e do sentimento
O prompt de um agente configurado para analisar transcrições SRT é revisado. Um modelo generativo resume a conversa, responde perguntas e muda a apresentação do operador e o diálogo com o cliente. A análise do sentimento e sua explicação são solicitadas usando as palavras transcritas. A aplicação também mostra métricas para a troca.
Transcrição e incorporação em Autonomous
A tabela de arquivos é consultada para localizar o MP3 processado e armazenada conversa. O apresentador conecta a geração de incorporação com DBMS_VECTOR_CHAIN dentro do banco de dados. A tabela de documentos é então verificada para o texto transcrito e sua representação vetorial, que preparam buscas e perguntas sobre este conteúdo.
Gravação de áudio da aplicação.
Ao lado dos uploads de arquivos, o controle de gravação da aplicação captura um teste de voz. Quando a gravação termina, um OCI Speech job produz uma transcrição SRT e armazena o resultado em Autonomous. O último registro está localizado, e a gravação é selecionada no chat para resumos ou perguntas usando um modelo generativo.
5 Demonstração: OCR e consultas multimodal IA
A demonstração multimodal ingeriu um documento JPG digitalizado. Um modelo generativo atua como intermediário para extração, usando um agente configurado para OCR. O conteúdo é processado e armazenado na armazenamento vetorial Autonomous. Uma vez que o carregamento termina, o módulo multimodal se abre e o documento é selecionado para consultas.
Perguntas sobre documentos e imagens
Pergunta-se sobre o conteúdo do documento e obtém-se um trecho do texto. Em seguida, carrega-se uma imagem para consultar informações visuais e solicitar um resumo. Outro teste usa uma imagem de maçãs e pergunta pelas cores; a resposta identifica vermelho, verde e amarelo. O percurso mostra a interação do modelo multimodal com texto e informações visuais.
Agentes Prompts e encerramento
A análise de prompts configurada para diferentes entradas: transcrições SRT, arquivos multimodais e extração de texto com saída Markdown. O apresentador descreve essas configurações como uma forma de adaptar a interação com a informação. O fechamento conecta arquivos Object Storage com dados armazenados em Autonomous e conclui as cinco demos.
Recursos relacionado
- Oracle AI Accelerator - Código e guias de instalação
- Oracle Select AI - Consulta em linguagem natural
- Select AI com RAG Search sobre seus documentos
- OCI Document Understanding - Extração e OCR
- OCI Speech Transcrição de áudio
- OCI Generative AI - Modelos e capacidades
- DBMS_VECTOR_CHAIN - Embutimentos e processamento vetorial