Inferenzprofile
NemoClaw definiert ein Inferenzprofil in blueprint.yaml. Das Profil konfiguriert einen OpenShell-Inferenz-Provider und eine Modellroute. Der Agent in der Sandbox nutzt das jeweils aktive Modell. Inferenzanfragen werden transparent über das OpenShell-Gateway geroutet.
Profilübersicht
| Profil | Provider | Modell | Endpunkt | Verwendung |
|---|---|---|---|---|
default | NVIDIA Cloud | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | Produktion. Erfordert NVIDIA API Key. |
Verfügbare Modelle
| Modell-ID | Label | Kontextfenster | Max. Ausgabe |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131.072 | 8.192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131.072 | 4.096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131.072 | 4.096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131.072 | 4.096 |
default — NVIDIA Cloud
- Provider-Typ:
nvidia - Endpunkt:
https://integrate.api.nvidia.com/v1 - Modell:
nvidia/nemotron-3-super-120b-a12b - Credential:
NVIDIA_API_KEY-Umgebungsvariable
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bModell zur Laufzeit wechseln
$ openshell inference set --provider nvidia-nim --model <model-name>Die Änderung wirkt sofort. Kein Sandbox-Neustart nötig.