Przełączanie modeli inferencji w czasie działania

Zmień aktywny model inferencji, gdy sandbox jest uruchomiony. Restart nie jest wymagany.

Wymagania wstępne

Działający sandbox NemoClaw.
CLI OpenShell w zmiennej PATH.

Przełączenie na inny model

Ustaw dostawcę na nvidia-nim i podaj model z build.nvidia.com:

$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12b

Wymaga to zmiennej środowiskowej NVIDIA_API_KEY. Polecenie nemoclaw onboard zapisuje ten klucz w ~/.nemoclaw/credentials.json przy pierwszym uruchomieniu.

Weryfikacja aktywnego modelu

Uruchom polecenie status, aby potwierdzić zmianę:

$ openclaw nemoclaw status

Dodaj flagę --json dla wyników czytelnych maszynowo:

$ openclaw nemoclaw status --json

Wynik zawiera aktywnego dostawcę, model i punkt końcowy.

Dostępne modele

Poniższa tabela zawiera modele zarejestrowane u dostawcy nvidia-nim. Możesz przełączyć się na dowolny z tych modeli w czasie działania.

ID modelu	Etykieta	Okno kontekstu	Maksymalny wynik
`nvidia/nemotron-3-super-120b-a12b`	Nemotron 3 Super 120B	131 072	8 192
`nvidia/llama-3.1-nemotron-ultra-253b-v1`	Nemotron Ultra 253B	131 072	4 096
`nvidia/llama-3.3-nemotron-super-49b-v1.5`	Nemotron Super 49B v1.5	131 072	4 096
`nvidia/nemotron-3-nano-30b-a3b`	Nemotron 3 Nano 30B	131 072	4 096

Powiązane tematy

Profile inferencji — pełne szczegóły konfiguracji profili.