Profili di Inferenza
NemoClaw include un profilo di inferenza definito in blueprint.yaml.
Il profilo configura un provider di inferenza OpenShell e una route per il modello.
L’agente all’interno della sandbox utilizza il modello attivo corrente.
Le richieste di inferenza vengono instradate in modo trasparente attraverso il gateway OpenShell.
Riepilogo del Profilo
| Profilo | Provider | Modello | Endpoint | Caso d’Uso |
|---|---|---|---|---|
default | NVIDIA cloud | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | Produzione. Richiede una API key NVIDIA. |
Modelli Disponibili
Il provider nvidia-nim registra i seguenti modelli da build.nvidia.com:
| ID Modello | Etichetta | Finestra di Contesto | Output Massimo |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131.072 | 8.192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131.072 | 4.096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131.072 | 4.096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131.072 | 4.096 |
Il profilo predefinito utilizza Nemotron 3 Super 120B. Puoi passare a qualsiasi modello nel catalogo a runtime.
default — NVIDIA Cloud
Il profilo predefinito instrada l’inferenza verso l’API ospitata di NVIDIA attraverso build.nvidia.com.
- Tipo di provider:
nvidia - Endpoint:
https://integrate.api.nvidia.com/v1 - Modello:
nvidia/nemotron-3-super-120b-a12b - Credenziale: variabile d’ambiente
NVIDIA_API_KEY
Ottieni una API key da build.nvidia.com.
Il comando nemoclaw onboard richiede questa chiave e la salva in ~/.nemoclaw/credentials.json.
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bCambiare Modelli a Runtime
Dopo che la sandbox è in esecuzione, cambia modello con la CLI di OpenShell:
$ openshell inference set --provider nvidia-nim --model <model-name>La modifica ha effetto immediato. Non è necessario riavviare la sandbox.