Inferentieprofielen
NemoClaw wordt geleverd met een inferentieprofiel dat is gedefinieerd in blueprint.yaml.
Het profiel configureert een OpenShell-inferentieprovider en modelroute.
De agent in de sandbox gebruikt het actieve model.
Inferentieverzoeken worden transparant gerouteerd via de OpenShell gateway.
Profieloverzicht
| Profiel | Provider | Model | Eindpunt | Gebruikssituatie |
|---|---|---|---|---|
default | NVIDIA cloud | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | Productie. Vereist een NVIDIA API key. |
Beschikbare modellen
De nvidia-nim-provider registreert de volgende modellen van build.nvidia.com:
| Model-ID | Label | Contextvenster | Maximale uitvoer |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131.072 | 8.192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131.072 | 4.096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131.072 | 4.096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131.072 | 4.096 |
Het standaardprofiel gebruikt Nemotron 3 Super 120B. U kunt tijdens runtime wisselen naar elk model in de catalogus.
default — NVIDIA Cloud
Het standaardprofiel routeert inferentie naar de gehoste API van NVIDIA via build.nvidia.com.
- Providertype:
nvidia - Eindpunt:
https://integrate.api.nvidia.com/v1 - Model:
nvidia/nemotron-3-super-120b-a12b - Referentie: omgevingsvariabele
NVIDIA_API_KEY
Verkrijg een API key via build.nvidia.com.
Het nemoclaw onboard-commando vraagt om deze sleutel en slaat deze op in ~/.nemoclaw/credentials.json.
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bModellen wisselen tijdens runtime
Nadat de sandbox draait, wisselt u van model met de OpenShell CLI:
$ openshell inference set --provider nvidia-nim --model <model-name>De wijziging wordt onmiddellijk van kracht. De sandbox hoeft niet te worden herstart.