Resumo
Leve seus dados de Bronze para Gold e conecte-os com análise e governança na Oracle Cloud. Neste vídeo eu mostro a vocês como combinar OCI Object Storage, Oracle AI Data Platform Workbench, OCI Data Catalog e Oracle Analytics Cloud em uma arquitetura makehouse com camadas de medalhão.
Vamos atravessar os baldes, Mestre Catálogo, tabelas Delta e a organização do espaço de trabalho. Revisamos a configuração do computador, as métricas Spark UI e a orquestração do fluxo de trabalho com parâmetros para processar datas específicas e trabalhar com cargas incrementais ou completas. Também exploramos funções de auditoria, login e acesso.
Temos tentado três casos úteis: adicionar uma coluna a uma tabela Delta mantendo dados históricos, mascarar informações de clientes com OCI Language ou expressões regulares, e executar consultas SQL sobre a Camada de Ouro para obter relatórios.
Então organizamos o contexto de negócios com um glossário em OCI Data Catalog e conectamos Oracle Analytics Cloud com AIDP para selecionar tabelas, ligar dados e preparar visualizações. Assim, você pode seguir o caminho de armazenamento e transformação para o consumo analítico.
Início
Após a introdução, uma turnê com OCI Object Storage, Oracle AI Data Platform Workbench, OCI Data Catalog e Oracle Analytics Cloud são apresentados. O objetivo do exemplo é rastrear dados das camadas de medalhão para sua organização de negócios e seu consumo analítico.
OCI Object Storage e camadas de medalhão
Os baldes do lab e a separação de dados por camadas estão se espalhando. A capa de bronze contém arquivos de tráfego, referências e exemplos para provar mascaramento e evolução esquemática. A narrativa também distingue a área de desembarque, que pode ser organizada em outra comparação de acordo com o projeto do ambiente.
Acesso a Oracle AI Data Platform Workbench
O console Oracle Cloud abre a instância do Oracle AI Data Platform Workbench. Acesso requer confirmação de autenticação em aplicativo móvel. depois de entrar no ambiente onde catálogos, projetos e recursos do lab estão registrados.
Mestre Catálogo e Delta tabelas
Mestre Catálogo organiza as camadas de Bronze, Prata e Ouro, com a referência e monitoramento tabelas. colunas e tipos de dados do Delta tabelas são inspecionados, incluindo exemplos de tráfego, mascaramento e crescimento de colunas. Eles também revisam o histórico de trocas e opções para incorporar outros catálogos.
Espaço de trabalho, cadernos e organização do projeto
O espaço de trabalho agrupando cadernos e arquivos de acordo com a capa do processo. A pasta compartilhada para o trabalho do computador é distinta e a entrada de Landing, referências reutilizáveis e consultas de consumo são encontradas em Gold. Os cadernos e trabalhos são organizados para depois associá-los com um cluster execução.
Compute e configuração de cluster
As opções de computador que irão executar notebooks, trabalhos e consultas são revisadas. O exemplo mostra um cluster padrão, alternativas recursos e desligamento de inatividade com um intervalo de minutos 120, bem como uma opção para mantê-lo para cima e para cima. De suas opções de conexão, você obtém o arquivo que será usado mais tarde em Análise.
Spark UI e execução métricas
Spark UI permite rever os processos executados no cluster, uso e métricas de seus nós e executores. A explicação relaciona essas visões com o monitoramento de cargas, além de confirmar que um processo foi concluído, eles nos permitem observar como consumiram recursos durante seu execução.
Fluxos de trabalho, parâmetros e modos de carga
O fluxo de tráfego liga a entrada e transformações de Bronze, Prata e Ouro. Parâmetros são mostrados para selecionar uma data de processamento e um modo de carregamento incremental ou completo. O fluxo também deve ser associado à infraestrutura onde suas tarefas serão realizadas.
Auditoria centralizada e login.
A visão centralizada reúne a auditoria e registros execução de notebooks, empregos, tarefas e chamadas para UPIs do meio ambiente. Esse ponto permite colocar mensagens de atividade sem ter que rever cada recurso separadamente.
Ovas e acesso colaborativo.
A gestão de papéis e usuários será dedicada à organização do acesso ao meio ambiente. A explicação coloca estes permissões em trabalho colaborativo: diferentes participantes podem entrar no projeto e executar seus respectivos processos.
Aposentadoria e carregamento incremental
O teste começa com uma tabela sintética e executa um fluxo de trabalho que incorpora uma coluna adicional sem eliminar o histórico. Os detalhes, saída e linha de tempo de suas tarefas são revisados e o Bronze, Prata e Ouro tabelas são comparados. O resultado nos permite observar como o esquema cresce e como os registros de palco mais antigos são representados.
Dados Mapeando com OCI Language e regex
O fluxo de trabalho processa os dados do cliente e coloca uma versão mascarada no Gold. E-mail, telefone e texto livre são revistos e a saída indica se a detecção foi feita usando OCI Language ou expressões regulares. A tabelas e a consulta final nos permitem verificar os dados que foram passados através de cada camada com os valores que serão mostrados aos consumidores.
Consulta SQL sobre Camada de Ouro
A relatório SQL sobre dados de ouro é executado a partir do espaço de trabalho. A completa execução e uma saída limitada a dez registros são revisados para explorar o resultado. A demonstração mostra como uma consulta de consumidores pode coexistir com os cadernos de transformação dentro do projeto.
OCI Data Catalog e glossário de negócios
OCI Data Catalog contribui com o glossário com fontes, tabelas, colunas, categorias e relações lab. A turnê inclui trabalhos de atualização e exemplos de referências que ligam objetos de Bronze e Silver. O objetivo é que o equipamento seja capaz de rastrear dados, entender seu contexto e manter suas relações documentadas antes de aplicar ou reutilizar informações.
Conexão Oracle Analytics Cloud com AIDP
Oracle Analytics Cloud cria uma conexão com AIDP usando o arquivo de configuração obtido do cluster. A explicação indica que este computador atende diferentes usuários do lab: notebooks, trabalhos e análises. A conexão permite que você tenha acesso aos esquemas e prepare uma análise sobre tabelas disponível.
Criação e seleção de dados tabelas
O conjunto de dados A é criado a partir da conexão AIDP e Gold e referência tabelas são arrastados como antenas e agregados de tráfego. Quando uma análise requer mais detalhes, a informação de Silver também será incorporada. A seleção do tabelas prepara informações que serão relacionadas com a próxima parcela.
Relação entre tabelas e perfil de dados
O conjunto de dados permite rever a relação entre tabelas e um perfil de coluna com, pelo menos, valores métricos, máximos, únicos e tipos de data. As opções de cache e atualização também são discutidas. Essas visões ajudam a verificar a estrutura de dados antes de salvar o conjunto e construir visualizações.
Visibilidade e fechamento
O conjunto de dados com sua produção criará visualidades. O fechamento reúne o curso completo: armazenamento no Object Storage, AIDP processamento de medalhões, Data Catalog governança e Oracle Analytics Cloud consumo.