Профили инференса
NemoClaw поставляется с профилем инференса, определённым в blueprint.yaml.
Профиль настраивает провайдер инференса OpenShell и маршрут модели.
Агент внутри песочницы использует ту модель, которая активна в данный момент.
Запросы инференса прозрачно маршрутизируются через шлюз OpenShell.
Сводка профилей
| Профиль | Провайдер | Модель | Эндпоинт | Назначение |
|---|---|---|---|---|
default | Облако NVIDIA | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | Продакшн. Требуется API key NVIDIA. |
Доступные модели
Провайдер nvidia-nim регистрирует следующие модели с build.nvidia.com:
| Model ID | Название | Контекстное окно | Макс. вывод |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131 072 | 8 192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131 072 | 4 096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131 072 | 4 096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131 072 | 4 096 |
Профиль по умолчанию использует Nemotron 3 Super 120B. Вы можете переключиться на любую модель из каталога во время работы.
default — Облако NVIDIA
Профиль по умолчанию направляет инференс на хостинговый API NVIDIA через build.nvidia.com.
- Тип провайдера:
nvidia - Эндпоинт:
https://integrate.api.nvidia.com/v1 - Модель:
nvidia/nemotron-3-super-120b-a12b - Учётные данные: переменная окружения
NVIDIA_API_KEY
Получите API key на build.nvidia.com.
Команда nemoclaw onboard запрашивает этот ключ и сохраняет его в ~/.nemoclaw/credentials.json.
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bПереключение моделей во время работы
После запуска песочницы переключайте модели с помощью CLI OpenShell:
$ openshell inference set --provider nvidia-nim --model <model-name>Изменение вступает в силу немедленно. Перезапуск песочницы не требуется.