Resumo
Como um aplicativo PySpark pode ser desenvolvido no navegador e executado no OCI Data Flow?
O tutorial prepara a autenticação OCI e Spark em Cloud Shell, cria um projeto Code Editor e usa Spark Oracle Datasource para ler uma tabela Oracle Autonomous Database. A wallet é armazenada em OCI Object Storage, e a aplicação configura os detalhes da conexão do banco de dados.
O roteiro é testado pela primeira vez em Cloud Shell com Run Locally, verificando os primeiros cinco registros. O Python artefato é então carregado para Object Storage, e uma aplicação Dados Flow é criada para executá-lo em recursos gerenciado.
Resource Principal está configurado para acesso OCI recurso enquanto as credenciais de banco de dados de exemplo permanecem em uso. Após o Dados Flow execução, os estágios Spark UI e DAG são revisados para entender as dependências job.
Início
OCI Data Flow é introduzido para aplicações de processamento distribuídas, com Code Editor para desenvolvimento baseado em navegador. A caminhada prepara o ambiente, constrói uma aplicação PySpark que lê uma tabela Autonomous, testa localmente e publica para Dados Flow execução. Spark UI revisa o resultado job.
Requisitos e autenticação para Code Editor
Os pré-requisitos Code Editor e Cloud Shell incluem políticas de acesso, configuração do usuário OCI e ferramentas de ambiente Spark. O apresentador prepara um API Chave, baixa seu arquivo chave e mantém a pré-visualização da configuração para passos posteriores.
Criar O projeto em Code Editor
Code Editor abre de Dados Flow, e um projeto é criado do zero. Seu nome é definido, está localizado no compartimento selecionado, e seu terminal se abre. O projeto fornece o espaço de trabalho para preparar credenciais e o arquivo Python.
Configure as credenciais de OCI.
A configuração do OCI é preparada com valores de perfil e o caminho da chave privada. Os arquivos são colocados no diretório de configuração do usuário, e o perfil é verificado para leitura correta. A configuração e as cópias-chave inicialmente criadas dentro do projeto são então removidas.
Prepare Spark em Cloud Shell
O script para configurar Spark em Cloud Shell para Dados Flow é introduzido. O apresentador explica que o ambiente já está preparado; A configuração precisa terminar antes da aplicação execução. Isso conecta a autenticação OCI com as ferramentas de processamento do projeto.
Criar PySpark com Spark Oracle Datasource
Um arquivo Python cria uma sessão Spark com PySpark. Exemplos Oracle fornecem a leitura Autonomous usando Spark Oracle Datasource e uma wallet em Object Storage. A opção de habilitação do conector é revisada, e o código é adaptado ao exemplo de conexão.
A Carteira do Banco de Dados Autonomous em Object Storage
A wallet é baixada do Autonomous e enviada para um bucket Object Storage. O script define o nome do arquivo, espaço de nomes e bucket, junto com identificador de conexão, esquema e tabela. O nome de usuário e senha do banco de dados também estão configurados, seguido de uma prévia dos primeiros cinco registros.
Teste local com Run Locally
Code Editor seleciona Run Locally, Python e o arquivo de aplicação. Spark Oracle Datasource está ativado, e o teste começa em Cloud Shell. O registro mostra os primeiros cinco registros da tabela, verificando a leitura antes de criar o Dados Flow execução gerenciado.
Publicar artefato em Object Storage
Upload Artifact faz upload do aplicativo Python do projeto. O caminho do bucket Object Storage é especificado, e a visão do bucket é atualizada para verificar o script. Este artefato torna-se a entrada de aplicação Dados Flow.
Criar uma aplicação em OCI Data Flow
Uma aplicação Dados Flow é criada com um nome, versão Spark e linguagem Python. O exemplo mantém as configurações padrão do driver e executor. O bucket de script publicado e o caminho são selecionados, e o destino do log é configurado antes de opções avançadas serem revisadas.
Autenticação com Resource Principal
Nas opções avançadas, habilitam-se Resource Principal e a propriedade de Spark Oracle Datasource. Resource Principal autentica o acesso a recursos de OCI durante a execução. A conexão com Autonomous utiliza também o wallet e as credenciais de banco de dados configurados no exemplo. Essas opções completam a criação da aplicação.
Execute a aplicação em Dados Flow.
Correr começa a aplicação gerenciada. Dados Flow fornece Spark cluster recursos e executa o script publicado. A caminhada espera pela conclusão antes de abrir as ferramentas de monitoramento. Este Dados Flow execução segue o primeiro teste local Cloud Shell.
Spark UI e DAG
Spark UI abre após a conclusão para inspecionar os estágios job. A visualização DAG representa dependências entre estágios e tarefas, ajudando a revisar o processamento distribuído de dados. O fechamento conecta esta visão com análise e depuração de aplicações Spark desenvolvidas em Code Editor.