推理配置
NemoClaw 附带在 blueprint.yaml 中定义的推理配置。
该配置设置了 OpenShell 推理提供者和模型路由。
沙箱内的代理使用当前活跃的模型。
推理请求通过 OpenShell gateway 透明路由。
配置概要
| 配置 | 提供者 | 模型 | 端点 | 用途 |
|---|---|---|---|---|
default | NVIDIA 云端 | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | 生产环境。需要 NVIDIA API key。 |
可用模型
nvidia-nim 提供者注册了以下来自 build.nvidia.com 的模型：
| 模型 ID | 标签 | 上下文窗口 | 最大输出 |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131,072 | 8,192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131,072 | 4,096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131,072 | 4,096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131,072 | 4,096 |
默认配置使用 Nemotron 3 Super 120B。 你可以在运行时切换到目录中的任何模型。
default — NVIDIA 云端
默认配置通过 build.nvidia.com 将推理路由到 NVIDIA 的托管 API。
- 提供者类型：
nvidia - 端点：
https://integrate.api.nvidia.com/v1 - 模型：
nvidia/nemotron-3-super-120b-a12b - 凭据：
NVIDIA_API_KEY环境变量
从 build.nvidia.com 获取 API key。
nemoclaw onboard 命令会提示输入此密钥并将其存储在 ~/.nemoclaw/credentials.json 中。
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12b在运行时切换模型
沙箱运行后，使用 OpenShell CLI 切换模型：
$ openshell inference set --provider nvidia-nim --model <model-name>更改立即生效。 无需重启沙箱。