在运行时切换推理模型
在沙箱运行时更改活跃的推理模型。 无需重启。
前提条件
- 一个正在运行的 NemoClaw sandbox。
- OpenShell CLI 在你的
PATH中。
切换到不同的模型
将提供者设置为 nvidia-nim 并指定来自 build.nvidia.com 的模型:
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12b
这需要设置 NVIDIA_API_KEY 环境变量。
nemoclaw onboard 命令会在首次运行时将此密钥存储在 ~/.nemoclaw/credentials.json 中。
验证活跃模型
运行状态命令确认更改:
$ openclaw nemoclaw status
添加 --json 标志以获取机器可读的输出:
$ openclaw nemoclaw status --json
输出包括活跃的提供者、模型和端点。
可用模型
下表列出了 nvidia-nim 提供者注册的模型。
你可以在运行时切换到其中任何一个模型。
| 模型 ID | 标签 | 上下文窗口 | 最大输出 |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131,072 | 8,192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131,072 | 4,096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131,072 | 4,096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131,072 | 4,096 |
相关主题
- 推理配置查看完整的配置详情。