O portfólio OCI nos permite consumir modelos que foram preparados, desenvolver seus próprios modelos ou gerenciar infraestrutura para cargas especializadas. A decisão depende de quanto trabalho você tem que controlar.
Objetivos: Para distinguir IA Services, Data Science e reconhecimento de infraestrutura do ciclo do modelo explicar GPU e RDMA e aplicar IA responsável princípios em um caso particular.
Conceitos de Chave
| Requisito | Placa de aposentadoria. | A responsabilidade que você mantém |
|---|---|---|
| Extraindo informações com uma capacidade conhecida | Serviços IA | Prepare dados, permissões e resultados de revisão. |
| Treinar e operar um modelo do seu problema | OCI Data Science | Dados, algoritmo, avaliação e implantação |
| Controle uma carga computação dedicada. | Infraestrutura IA | Ambiente, distribuição e operação por serviço |
Os services predefinidos são consumidos com console, API, SDK ou CLI. Alguns permitem modelos personalizados. Você não tem que treinar uma rede do zero para cada tarefa. Assistente Digital. Organiza experiências contíguas e habilidades não é outro nome para um GPU, um caderno ou o serviço de linguagem.
OCI Data Science e ciclo do modelo
Projetos Eles têm empregos. O Sessões de caderno fornecer um ambiente JupiterLab para explorar e treinar. A Conda ambiente gerencia dependências. Ele não é modelo. O SDK ADS assistência com o ciclo de dados e tarefas de modelo.
O Modelo Catálogo mantém artefatos e metadados para monitoramento e colaboração. A Modelo Deploment Expanda um modelo de inferência através de um endpoint. A job realiza uma tarefa repetitiva, como produção de dados ou treinamento. A coordena as fases. Salvar no catálogo não cria automaticamente um endpoint ativo.
Para reproduzir um resultado, preserve a versão dos dados, o código, as dependências e a configuração. Na demonstração de Data Science, o ADS prepara o artefato, verifica sua capacidade de previsão e o salva; a implantação e a chamada de previsão são etapas posteriores. Consulte os conceitos de OCI Data Science.
Infraestrutura e IA responsável
Uma. GPU Realizar uma série de operações similares ao mesmo tempo, permitindo o cálculo mestre de treinamento e inferência. Nem toda tarefa melhora adicionando GPU: eles influenciam o tamanho dos dados, memória, transferências e software. O CPU continua participando de outras partes do trabalho.
Para treinamento distribuído, a comunicação entre nós pode restringir o desempenho. RDMA Permite pequenas transferências de intervenção CPU. RoCE. Transporte RDMA sobre Ethernet. A cidade reduz as viagens de comunicação. Não confunda links dentro do nó com a rede entre nós e um Supercluster com uma aplicação endpoint.
O material resume IA confiável como lícito, ético e robusto. Na prática, define responsabilidade, controles de dados, avaliação de grupo, explicações apropriadas, monitoramento humano e monitoramento após implantação. A significa que exatidão pode esconder pior desempenho para uma população ou condição de uso. A modelo tecnicamente preciso também pode ser usado com um objetivo inapropriado.
Exemplo passo a passo
A empresa quer estimar o tempo de reparo com sua própria história.
- Defina o resultado numérico e a decisão que ele vai apoiar. Verifique se as características existem antes do reparo.
- Organiza um projeto Data Science e abre uma sessão de notebook com o ambiente necessário.
- Treina uma simples referência e avalia reparos posteriores sem filtrar informações futuras.
- Prepare e verifique o artefato, registre o modelo e seus metadados no catálogo.
- Se uma aplicação precisa de previsões on-line, crie um implantação se recalcular todas as noites, considere um job.
- Ele monitora erros por tipo de equipamento e preserva um caminho de correção humano.
Se o problema mudar para transcrever áudios, comece a avaliar a fala. Não precisa ter um modelo só porque conhece Data Science.
Erros comuns.
- Para fundir catálogo com implantação ou job com um endpoint sempre disponível.
- Para acreditar que uma sessão de notebook remove a necessidade de IAM e acesso de dados.
- Para memorizar GPU, data de disponibilidade ou tamanhos de cluster de uma gravação como limites atuais.
- Trate "gerido" como uma ausência de custo ou responsabilidade.
- Adicione uma declaração ética sem avaliar os resultados e reivindicar mecanismos.
Exercício eleitoral.
O computador A deve transcrever gravações 300, treinar um classificador próprio e realizar sua avaliação toda semana. Atribuir capacidade a todas as necessidades.
Solução
Evalua Speech para transcrição em lotes usa Data Science para desenvolver o classificador. usa empregos ou um oleoduto para repetir a avaliação. O catálogo mantém o modelo. Se mais tarde precisar de inferência online, adicione um implantação. A Supercluster não precisa ser administrado para justificar essas tarefas.
Fontes e revisão
Verifique OCI IA Portfólio e mostre Data Science em MeuAprender. Consulta IA infraestrutura de Oracle para modelos de GPU e atualmente disponíveis. Os números para uma demonstração são exemplos de sua data.