Profils d’inférence
NemoClaw est livré avec un profil d’inférence défini dans blueprint.yaml.
Le profil configure un fournisseur d’inférence OpenShell et une route de modèle.
L’agent à l’intérieur du sandbox utilise le modèle actif.
Les requêtes d’inférence sont routées de manière transparente via le gateway OpenShell.
Résumé du profil
| Profil | Fournisseur | Modèle | Endpoint | Cas d’utilisation |
|---|---|---|---|---|
default | NVIDIA cloud | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | Production. Nécessite une clé API NVIDIA. |
Modèles disponibles
Le fournisseur nvidia-nim enregistre les modèles suivants depuis build.nvidia.com :
| Model ID | Label | Context Window | Max Output |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131,072 | 8,192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131,072 | 4,096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131,072 | 4,096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131,072 | 4,096 |
Le profil par défaut utilise Nemotron 3 Super 120B. Vous pouvez passer à n’importe quel modèle du catalogue à l’exécution.
default — NVIDIA Cloud
Le profil par défaut route l’inférence vers l’API hébergée de NVIDIA via build.nvidia.com.
- Type de fournisseur :
nvidia - Endpoint :
https://integrate.api.nvidia.com/v1 - Modèle :
nvidia/nemotron-3-super-120b-a12b - Identifiant : Variable d’environnement
NVIDIA_API_KEY
Obtenez une clé API depuis build.nvidia.com.
La commande nemoclaw onboard demande cette clé et l’enregistre dans ~/.nemoclaw/credentials.json.
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bChanger de modèle à l’exécution
Une fois le sandbox en cours d’exécution, changez de modèle avec le CLI OpenShell :
$ openshell inference set --provider nvidia-nim --model <model-name>La modification prend effet immédiatement. Aucun redémarrage du sandbox n’est nécessaire.