런타임에서 추론 모델 전환
샌드박스가 실행 중인 상태에서 추론 모델을 전환합니다. 재시작이 필요 없습니다.
사전 요구 사항
- 실행 중인 NemoClaw 샌드박스.
- OpenShell CLI가
PATH에 있을 것.
다른 모델로 전환
프로바이더를 nvidia-nim으로 설정하고 build.nvidia.com의 모델을 지정합니다:
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bNVIDIA_API_KEY 환경 변수가 필요합니다.
nemoclaw onboard 명령어가 첫 실행 시 이 키를 ~/.nemoclaw/credentials.json에 저장합니다.
활성 모델 확인
status 명령어로 변경을 확인합니다:
$ openclaw nemoclaw status--json 플래그를 추가하면 기계 판독 가능한 출력을 얻을 수 있습니다:
$ openclaw nemoclaw status --json출력에는 활성 프로바이더, 모델, 엔드포인트가 포함됩니다.
사용 가능한 모델
아래는 nvidia-nim 프로바이더에 등록된 모델 목록입니다.
런타임에서 어느 것으로든 전환할 수 있습니다.
| 모델 ID | 라벨 | 컨텍스트 윈도우 | 최대 출력 |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131,072 | 8,192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131,072 | 4,096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131,072 | 4,096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131,072 | 4,096 |
관련 주제
- 추론 프로필에서 전체 설정 세부 사항 확인.