在运行时切换推理模型

在沙箱运行时更改活跃的推理模型。 无需重启。

前提条件

  • 一个正在运行的 NemoClaw sandbox。
  • OpenShell CLI 在你的 PATH 中。

切换到不同的模型

将提供者设置为 nvidia-nim 并指定来自 build.nvidia.com 的模型:

$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12b

这需要设置 NVIDIA_API_KEY 环境变量。 nemoclaw onboard 命令会在首次运行时将此密钥存储在 ~/.nemoclaw/credentials.json 中。

验证活跃模型

运行状态命令确认更改:

$ openclaw nemoclaw status

添加 --json 标志以获取机器可读的输出:

$ openclaw nemoclaw status --json

输出包括活跃的提供者、模型和端点。

可用模型

下表列出了 nvidia-nim 提供者注册的模型。 你可以在运行时切换到其中任何一个模型。

模型 ID标签上下文窗口最大输出
nvidia/nemotron-3-super-120b-a12bNemotron 3 Super 120B131,0728,192
nvidia/llama-3.1-nemotron-ultra-253b-v1Nemotron Ultra 253B131,0724,096
nvidia/llama-3.3-nemotron-super-49b-v1.5Nemotron Super 49B v1.5131,0724,096
nvidia/nemotron-3-nano-30b-a3bNemotron 3 Nano 30B131,0724,096

相关主题