Cambiare Modelli di Inferenza a Runtime

Cambia il modello di inferenza attivo mentre la sandbox è in esecuzione. Non è necessario alcun riavvio.

Prerequisiti

Una sandbox NemoClaw in esecuzione.
La CLI di OpenShell nel tuo PATH.

Passare a un Modello Diverso

Imposta il provider su nvidia-nim e specifica un modello da build.nvidia.com:

$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12b

Questo richiede la variabile d’ambiente NVIDIA_API_KEY. Il comando nemoclaw onboard salva questa chiave in ~/.nemoclaw/credentials.json alla prima esecuzione.

Verificare il Modello Attivo

Esegui il comando status per confermare la modifica:

$ openclaw nemoclaw status

Aggiungi il flag --json per un output leggibile dalla macchina:

$ openclaw nemoclaw status --json

L’output include il provider attivo, il modello e l’endpoint.

Modelli Disponibili

La seguente tabella elenca i modelli registrati con il provider nvidia-nim. Puoi passare a qualsiasi di questi modelli a runtime.

ID Modello	Etichetta	Finestra di Contesto	Output Massimo
`nvidia/nemotron-3-super-120b-a12b`	Nemotron 3 Super 120B	131.072	8.192
`nvidia/llama-3.1-nemotron-ultra-253b-v1`	Nemotron Ultra 253B	131.072	4.096
`nvidia/llama-3.3-nemotron-super-49b-v1.5`	Nemotron Super 49B v1.5	131.072	4.096
`nvidia/nemotron-3-nano-30b-a3b`	Nemotron 3 Nano 30B	131.072	4.096

Argomenti Correlati

Profili di Inferenza per i dettagli completi sulla configurazione dei profili.