Profile inferencji
NemoClaw dostarczany jest z profilem inferencji zdefiniowanym w blueprint.yaml.
Profil konfiguruje dostawcę inferencji OpenShell i trasę modelu.
Agent wewnątrz sandboxa używa aktualnie aktywnego modelu.
Żądania inferencji są kierowane transparentnie przez bramę OpenShell.
Podsumowanie profilu
| Profil | Dostawca | Model | Punkt końcowy | Przypadek użycia |
|---|---|---|---|---|
default | Chmura NVIDIA | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | Produkcja. Wymaga klucza API NVIDIA. |
Dostępne modele
Dostawca nvidia-nim rejestruje następujące modele z build.nvidia.com:
| ID modelu | Etykieta | Okno kontekstu | Maksymalny wynik |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131 072 | 8 192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131 072 | 4 096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131 072 | 4 096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131 072 | 4 096 |
Domyślny profil używa Nemotron 3 Super 120B. Możesz przełączyć się na dowolny model z katalogu w czasie działania.
default — Chmura NVIDIA
Domyślny profil kieruje inferencję do hostowanego API NVIDIA przez build.nvidia.com.
- Typ dostawcy:
nvidia - Punkt końcowy:
https://integrate.api.nvidia.com/v1 - Model:
nvidia/nemotron-3-super-120b-a12b - Poświadczenie: zmienna środowiskowa
NVIDIA_API_KEY
Uzyskaj klucz API z build.nvidia.com.
Polecenie nemoclaw onboard prosi o ten klucz i zapisuje go w ~/.nemoclaw/credentials.json.
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bPrzełączanie modeli w czasie działania
Po uruchomieniu sandboxa przełącz modele za pomocą CLI OpenShell:
$ openshell inference set --provider nvidia-nim --model <model-name>Zmiana zaczyna obowiązywać natychmiast. Restart sandboxa nie jest wymagany.