Resumo
Como um modelo Hugging Face pode ser importado e implantado para inferência em OCI Data Science?
A demonstração usa AI Quick Actions para registrar um modelo pelo identificador, armazenar seus arquivos no OCI Object Storage e implantá-lo na infraestrutura NVIDIA GPU. Um bucket versionado é criado, e o terminal Data Science autentica Hugging Face através de seu CLI e um token de acesso.
O modelo, contêiner, bucket e pasta de destino são então selecionados. Configuração de implantação escolhe a infraestrutura e mantém argumentos padrão contêiner. Uma vez disponível, o modelo é consultado com parâmetros, e as opções de invocação para CLI, Python e Java são revisadas.
A passagem termina verificando os arquivos de modelos em Object Storage, onde eles permanecem disponíveis para outros implantações.
Início
O apresentador introduz a importação de modelos Hugging Face em OCI Data Science para projetos usando um endpoint ou CLI. A caminhada se concentra em preparar armazenamento, registrar o modelo e implantá-lo para pesquisas de inferência.
Criação de baldes e versão
Um bucket OCI Object Storage é criado com um nome e um versionamento ativados. Este destino mais tarde armazenará os arquivos do modelo registrados através do AI Quick Actions. Assim que o bucket estiver pronto, um terminal Data Science se abre.
Autenticação Hugging Face com CLI e Token
O terminal Data Science começa a autenticação usando o Hugging Face CLI. Um token de acesso é criado em configurações de conta com um nome e opções selecionadas para o exemplo. O símbolo é usado no terminal para terminar de assinar antes do registro do modelo.
Modelo de registro na AI Quick Actions
Em AI Quick Actions, inicia-se o registro do modelo pelo identificador obtido no Hugging Face. Selecionam-se o contêiner, o bucket preparado e a pasta de destino dos arquivos. Durante o registro, habilita-se a opção de fine-tuning e aguarda-se o download do modelo para o bucket.
Implantação do modelo em GPU
O modelo registrado e a infraestrutura NVIDIA GPU são selecionados para implantação. Argumentos de container podem ser ajustados no formulário, mas a demonstração mantém valores padrão. A implantação começa, e provisionamento pode terminar antes da inferência ser testada.
Testes e invocação com CLI, Python e Java
Uma vez que implantação está disponível, o modelo é examinado e os parâmetros de teste são ajustados. Opções de invocação e exemplos para CLI, Python e Java são então mostrados. A caminhada termina em Object Storage para verificar que os arquivos de modelos foram baixados e estão disponíveis para o futuro implantações.