Переключение моделей инференса во время работы
Измените активную модель инференса, пока песочница работает. Перезапуск не требуется.
Предварительные требования
- Работающая песочница NemoClaw.
- CLI OpenShell в вашем
PATH.
Переключение на другую модель
Установите провайдер nvidia-nim и укажите модель с build.nvidia.com:
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bДля этого требуется переменная окружения NVIDIA_API_KEY.
Команда nemoclaw onboard сохраняет этот ключ в ~/.nemoclaw/credentials.json при первом запуске.
Проверка активной модели
Выполните команду status для подтверждения изменения:
$ openclaw nemoclaw statusДобавьте флаг --json для машиночитаемого вывода:
$ openclaw nemoclaw status --jsonВывод включает активного провайдера, модель и эндпоинт.
Доступные модели
В следующей таблице перечислены модели, зарегистрированные в провайдере nvidia-nim.
Вы можете переключиться на любую из этих моделей во время работы.
| Model ID | Название | Контекстное окно | Макс. вывод |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131 072 | 8 192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131 072 | 4 096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131 072 | 4 096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131 072 | 4 096 |
Связанные темы
- Профили инференса — подробности настройки профилей.