추론 프로필
NemoClaw는 blueprint.yaml에 추론 프로필을 정의합니다.
프로필은 OpenShell 추론 프로바이더와 모델 라우트를 구성합니다.
샌드박스 안의 에이전트는 현재 활성화된 모델을 사용합니다.
추론 요청은 OpenShell gateway를 통해 투명하게 라우팅됩니다.
프로필 요약
| 프로필 | 프로바이더 | 모델 | 엔드포인트 | 용도 |
|---|---|---|---|---|
default | NVIDIA 클라우드 | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | 프로덕션. NVIDIA API key 필요. |
사용 가능한 모델
nvidia-nim 프로바이더는 build.nvidia.com에서 다음 모델을 등록합니다:
| 모델 ID | 라벨 | 컨텍스트 윈도우 | 최대 출력 |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131,072 | 8,192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131,072 | 4,096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131,072 | 4,096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131,072 | 4,096 |
기본 프로필은 Nemotron 3 Super 120B를 사용합니다. 런타임에서 카탈로그의 어느 모델로든 전환 가능합니다.
default — NVIDIA 클라우드
기본 프로필은 build.nvidia.com을 통해 NVIDIA 호스팅 API로 추론을 라우팅합니다.
- 프로바이더 유형:
nvidia - 엔드포인트:
https://integrate.api.nvidia.com/v1 - 모델:
nvidia/nemotron-3-super-120b-a12b - 인증:
NVIDIA_API_KEY환경 변수
build.nvidia.com에서 API key를 발급받으세요.
nemoclaw onboard 명령어가 첫 실행 시 입력을 요청하고 ~/.nemoclaw/credentials.json에 저장합니다.
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12b런타임 모델 전환
샌드박스 실행 중에 OpenShell CLI로 모델을 전환합니다:
$ openshell inference set --provider nvidia-nim --model <model-name>변경은 즉시 적용됩니다. 샌드박스 재시작 불필요.