Hồ sơ suy luận
NemoClaw đi kèm với một hồ sơ suy luận được định nghĩa trong blueprint.yaml.
Hồ sơ cấu hình nhà cung cấp suy luận OpenShell và tuyến mô hình.
Tác nhân bên trong sandbox sử dụng mô hình nào đang hoạt động.
Các yêu cầu suy luận được định tuyến một cách minh bạch qua gateway OpenShell.
Tóm tắt hồ sơ
| Hồ sơ | Nhà cung cấp | Mô hình | Endpoint | Trường hợp sử dụng |
|---|---|---|---|---|
default | NVIDIA cloud | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | Sản xuất. Yêu cầu API key NVIDIA. |
Các mô hình khả dụng
Nhà cung cấp nvidia-nim đăng ký các mô hình sau từ build.nvidia.com:
| Model ID | Nhãn | Cửa sổ ngữ cảnh | Đầu ra tối đa |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131.072 | 8.192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131.072 | 4.096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131.072 | 4.096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131.072 | 4.096 |
Hồ sơ mặc định sử dụng Nemotron 3 Super 120B. Bạn có thể chuyển sang bất kỳ mô hình nào trong danh mục trong thời gian chạy.
default — NVIDIA Cloud
Hồ sơ mặc định định tuyến suy luận đến API được lưu trữ của NVIDIA thông qua build.nvidia.com.
- Loại nhà cung cấp:
nvidia - Endpoint:
https://integrate.api.nvidia.com/v1 - Mô hình:
nvidia/nemotron-3-super-120b-a12b - Thông tin xác thực: Biến môi trường
NVIDIA_API_KEY
Lấy API key từ build.nvidia.com.
Lệnh nemoclaw onboard yêu cầu khóa này và lưu vào ~/.nemoclaw/credentials.json.
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bChuyển đổi mô hình trong thời gian chạy
Sau khi sandbox đang chạy, chuyển đổi mô hình bằng CLI OpenShell:
$ openshell inference set --provider nvidia-nim --model <model-name>Thay đổi có hiệu lực ngay lập tức. Không cần khởi động lại sandbox.