推論設定
NemoClaw 在 blueprint.yaml 中定義了推論設定檔。
設定檔配置了 OpenShell 推論提供者和模型路由。
沙箱內的代理會使用當前啟用的模型。
推論請求透過 OpenShell gateway 透明路由。
設定檔摘要
| 設定檔 | 提供者 | 模型 | 端點 | 用途 |
|---|---|---|---|---|
default | NVIDIA 雲端 | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | 正式環境。需要 NVIDIA API key。 |
可用模型
nvidia-nim 提供者從 build.nvidia.com 註冊了以下模型：
| 模型 ID | 標籤 | 上下文視窗 | 最大輸出 |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131,072 | 8,192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131,072 | 4,096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131,072 | 4,096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131,072 | 4,096 |
預設使用 Nemotron 3 Super 120B。 你可以在運行時切換到目錄中的任何模型。
default — NVIDIA 雲端
預設設定檔將推論路由到 NVIDIA 託管的 API，透過 build.nvidia.com。
- 提供者類型：
nvidia - 端點：
https://integrate.api.nvidia.com/v1 - 模型：
nvidia/nemotron-3-super-120b-a12b - 憑證：
NVIDIA_API_KEY環境變數
從 build.nvidia.com 取得 API key。
nemoclaw onboard 指令會在首次運行時提示輸入，並存到 ~/.nemoclaw/credentials.json。
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12b在運行時切換模型
沙箱運行中，用 OpenShell CLI 切換模型：
$ openshell inference set --provider nvidia-nim --model <model-name>變更立即生效。 不需要重啟沙箱。