Perfis de Inferência
O NemoClaw vem com um perfil de inferência definido em blueprint.yaml.
O perfil configura um provedor de inferência e uma rota de modelo do OpenShell.
O agente dentro do sandbox usa qualquer modelo que estiver ativo.
As requisições de inferência são roteadas de forma transparente através do gateway do OpenShell.
Resumo do Perfil
| Perfil | Provedor | Modelo | Endpoint | Caso de Uso |
|---|---|---|---|---|
default | Nuvem NVIDIA | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | Produção. Requer uma API key NVIDIA. |
Modelos Disponíveis
O provedor nvidia-nim registra os seguintes modelos de build.nvidia.com:
| ID do Modelo | Rótulo | Janela de Contexto | Saída Máxima |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131.072 | 8.192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131.072 | 4.096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131.072 | 4.096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131.072 | 4.096 |
O perfil padrão usa o Nemotron 3 Super 120B. Você pode trocar para qualquer modelo do catálogo em tempo de execução.
default — Nuvem NVIDIA
O perfil padrão roteia a inferência para a API hospedada da NVIDIA através do build.nvidia.com.
- Tipo de provedor:
nvidia - Endpoint:
https://integrate.api.nvidia.com/v1 - Modelo:
nvidia/nemotron-3-super-120b-a12b - Credencial: variável de ambiente
NVIDIA_API_KEY
Obtenha uma API key em build.nvidia.com.
O comando nemoclaw onboard solicita esta chave e a armazena em ~/.nemoclaw/credentials.json.
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bTrocando Modelos em Tempo de Execução
Após o sandbox estar em execução, troque de modelo com o CLI do OpenShell:
$ openshell inference set --provider nvidia-nim --model <model-name>A alteração entra em vigor imediatamente. Não é necessário reiniciar o sandbox.