Perfiles de Inferencia
NemoClaw incluye un perfil de inferencia definido en blueprint.yaml.
El perfil configura un proveedor de inferencia y una ruta de modelo de OpenShell.
El agente dentro del sandbox usa el modelo que esté activo.
Las solicitudes de inferencia se enrutan de forma transparente a través del gateway de OpenShell.
Resumen del Perfil
| Perfil | Proveedor | Modelo | Endpoint | Caso de Uso |
|---|---|---|---|---|
default | Nube de NVIDIA | nvidia/nemotron-3-super-120b-a12b | integrate.api.nvidia.com | Producción. Requiere una API key de NVIDIA. |
Modelos Disponibles
El proveedor nvidia-nim registra los siguientes modelos de build.nvidia.com:
| ID del Modelo | Etiqueta | Ventana de Contexto | Salida Máxima |
|---|---|---|---|
nvidia/nemotron-3-super-120b-a12b | Nemotron 3 Super 120B | 131,072 | 8,192 |
nvidia/llama-3.1-nemotron-ultra-253b-v1 | Nemotron Ultra 253B | 131,072 | 4,096 |
nvidia/llama-3.3-nemotron-super-49b-v1.5 | Nemotron Super 49B v1.5 | 131,072 | 4,096 |
nvidia/nemotron-3-nano-30b-a3b | Nemotron 3 Nano 30B | 131,072 | 4,096 |
El perfil predeterminado usa Nemotron 3 Super 120B. Puede cambiar a cualquier modelo del catálogo en tiempo de ejecución.
default — Nube de NVIDIA
El perfil predeterminado enruta la inferencia a la API alojada de NVIDIA a través de build.nvidia.com.
- Tipo de proveedor:
nvidia - Endpoint:
https://integrate.api.nvidia.com/v1 - Modelo:
nvidia/nemotron-3-super-120b-a12b - Credencial: variable de entorno
NVIDIA_API_KEY
Obtenga una API key en build.nvidia.com.
El comando nemoclaw onboard solicita esta clave y la almacena en ~/.nemoclaw/credentials.json.
$ openshell inference set --provider nvidia-nim --model nvidia/nemotron-3-super-120b-a12bCambiar Modelos en Tiempo de Ejecución
Después de que el sandbox esté en ejecución, cambie de modelo con el CLI de OpenShell:
$ openshell inference set --provider nvidia-nim --model <model-name>El cambio surte efecto de inmediato. No se necesita reiniciar el sandbox.