Chuyển đổi mô hình suy luận trong thời gian chạy

Thay đổi mô hình suy luận đang hoạt động trong khi sandbox đang chạy. Không cần khởi động lại.

Điều kiện tiên quyết

Đặt nhà cung cấp thành nvidia-nim và chỉ định một mô hình từ build.nvidia.com:

$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12b

Lệnh này yêu cầu biến môi trường NVIDIA_API_KEY. Lệnh nemoclaw onboard lưu khóa này trong ~/.nemoclaw/credentials.json ở lần chạy đầu tiên.

Chạy lệnh status để xác nhận thay đổi:

$ openclaw nemoclaw status

Thêm cờ --json để có kết quả đầu ra có thể đọc bằng máy:

$ openclaw nemoclaw status --json

Kết quả bao gồm nhà cung cấp đang hoạt động, mô hình và endpoint.

Bảng sau liệt kê các mô hình đã đăng ký với nhà cung cấp nvidia-nim. Bạn có thể chuyển sang bất kỳ mô hình nào trong số này trong thời gian chạy.

Model ID	Nhãn	Cửa sổ ngữ cảnh	Đầu ra tối đa
`nvidia/nemotron-3-super-120b-a12b`	Nemotron 3 Super 120B	131.072	8.192
`nvidia/llama-3.1-nemotron-ultra-253b-v1`	Nemotron Ultra 253B	131.072	4.096
`nvidia/llama-3.3-nemotron-super-49b-v1.5`	Nemotron Super 49B v1.5	131.072	4.096
`nvidia/nemotron-3-nano-30b-a3b`	Nemotron 3 Nano 30B	131.072	4.096