Bắt Đầu Với NemoClaw Trên DGX Spark

NVIDIA DGX Spark là nền tảng phát triển lý tưởng cho NemoClaw. Với kiến trúc Grace Blackwell trang bị 128GB bộ nhớ hợp nhất và lên đến 1 petaflop năng lực tính toán AI, một DGX Spark duy nhất có thể chạy toàn bộ bộ công cụ NemoClaw — bao gồm Nemotron 120B MoE — ngay trên bàn làm việc của bạn.

Hướng dẫn này sẽ đưa bạn qua toàn bộ quy trình thiết lập, từ mở hộp đến chạy blueprint tác nhân bảo mật đầu tiên.

Yêu Cầu Tiên Quyết

•NVIDIA DGX Spark (hoặc bất kỳ hệ thống nào có GPU NVIDIA với VRAM 24GB+ cho mô hình lượng tử hóa)
•Ubuntu 22.04 LTS hoặc mới hơn (DGX OS được cài đặt sẵn trên Spark)
•Docker 24.0+ với NVIDIA Container Toolkit
•50GB dung lượng đĩa trống cho mô hình và container

Bước 1: Cài Đặt NemoClaw CLI

NemoClaw CLI là giao diện chính để quản lý bộ công cụ. Cài đặt qua trình cài đặt chính thức:

bash

# Download and run the NemoClaw installer
curl -fsSL https://github.com/NVIDIA/NemoClaw | bash

# Verify installation
nemoclaw version
# Output: nemoclaw v1.0.0-preview (built for linux/arm64)

# Initialize NemoClaw in your project directory
mkdir my-first-agent && cd my-first-agent
nemoclaw init

Lệnh nemoclaw init tạo cấu trúc dự án:

my-first-agent/
├── nemoclaw.yaml          # Main configuration
├── policies/
│   ├── sandbox.yaml       # OpenShell sandbox policies
│   ├── network.yaml       # Network access policies
│   └── privacy.yaml       # Privacy Router configuration
├── blueprints/
│   └── starter.yaml       # Default agent blueprint
└── scripts/
    ├── setup.sh           # Environment setup script
    └── test-agent.sh      # Agent smoke test

Bước 2: Cấu Hình Bộ Công Cụ

Chỉnh sửa nemoclaw.yaml để cấu hình triển khai của bạn:

yaml

# nemoclaw.yaml
apiVersion: nemoclaw.nvidia.com/v1
kind: NemoClawConfig
metadata:
  name: my-first-deployment
spec:
  # Model configuration
  model:
    provider: local
    name: nemotron-120b-moe
    quantization: int4  # Use INT4 for DGX Spark
    gpuLayers: all

  # OpenShell configuration
  openshell:
    enabled: true
    isolationLevel: standard  # standard | strict | paranoid
    auditLog: true

  # Privacy Router configuration
  privacyRouter:
    enabled: true
    defaultRoute: local
    cloudEndpoints: []  # No cloud endpoints for local-only setup

  # Network Policy Engine
  networkPolicy:
    enabled: true
    defaultAction: deny
    allowlist:
      - "*.internal.company.com"

  # Agent configuration
  agent:
    framework: openclaw
    version: "3.13"
    maxConcurrentTasks: 8

Bước 3: Tải Mô Hình Nemotron

NemoClaw sử dụng Nemotron 120B MoE làm engine đánh giá chính sách. Trên DGX Spark, chúng ta sử dụng biến thể lượng tử hóa INT4 vừa vặn trong 128GB bộ nhớ hợp nhất:

bash

# Pull the Nemotron model (approximately 35GB)
nemoclaw model pull nemotron-120b-moe-int4

# Verify the model is ready
nemoclaw model list
# Output:
# NAME                        SIZE     STATUS
# nemotron-120b-moe-int4      34.7GB   ready

Đối với các hệ thống có ít bộ nhớ hơn, NemoClaw cũng hỗ trợ các mô hình nhỏ hơn:

bash

# Alternative: Nemotron 8B for systems with 24GB VRAM
nemoclaw model pull nemotron-nano-4b

Bước 4: Khởi Động Môi Trường Chạy NemoClaw

Khởi chạy toàn bộ bộ công cụ với một lệnh duy nhất:

bash

# Start all NemoClaw services
nemoclaw up

# Output:
# ✓ OpenShell runtime started (kernel modules loaded)
# ✓ Nemotron 120B MoE loaded (34.7GB, 4-bit quantized)
# ✓ Privacy Router initialized (local-only mode)
# ✓ Network Policy Engine active (deny-by-default)
# ✓ OpenClaw agent framework ready
#
# NemoClaw is running at http://localhost:7860
# Dashboard: http://localhost:7860/dashboard
# API: http://localhost:7860/api/v1

Dashboard cung cấp khả năng quan sát thời gian thực về hoạt động tác nhân, đánh giá chính sách và các sự kiện bảo mật.

Bước 5: Triển Khai Blueprint Đầu Tiên

Blueprint là các mẫu tác nhân được cấu hình sẵn với chính sách bảo mật tích hợp. Hãy triển khai blueprint Hỗ Trợ Khách Hàng:

bash

# List available blueprints
nemoclaw blueprint list
# Output:
# NAME                  DESCRIPTION                          SECURITY LEVEL
# customer-support      Tier-1 support ticket handling       standard
# sales-ops            CRM and sales automation              standard
# security-ops         Alert triage and remediation           strict
# infra-management     Cloud resource management              strict
# code-review          PR analysis and vulnerability scan     standard
# data-pipeline        ETL orchestration                      standard

# Deploy the customer support blueprint
nemoclaw blueprint deploy customer-support

•Chính sách sandbox OpenShell (hạn chế truy cập hệ thống tập tin và mạng)
•Quy tắc chính sách Nemotron (phát hiện PII, phân loại ý định)
•Danh sách cho phép mạng (chỉ các điểm cuối API được phê duyệt)
•Quy trình phê duyệt người vận hành (chuyển cấp cho hoàn tiền, thay đổi tài khoản)

Bước 6: Kiểm Tra Tác Nhân

Gửi yêu cầu thử nghiệm đến tác nhân bảo mật của bạn:

bash

# Send a test message to the agent
nemoclaw agent test --blueprint customer-support \
  --message "Customer John Smith (ID: 12345) is asking about their recent order #ORD-9876. They want to know the delivery status."

# Output:
# ┌──────────────────────────────────────────────┐
# │ NemoClaw Security Report                      │
# ├──────────────────────────────────────────────┤
# │ Policy Evaluation:     PASS (45ms)            │
# │ Intent Classification: customer-inquiry       │
# │ Data Sensitivity:      internal               │
# │ Model Route:           local (nemotron-120b)  │
# │ Sandbox:               cs-agent-sandbox-001   │
# │ Network Access:        crm.api, orders.api    │
# │ PII Detected:          name, customer-id      │
# │ PII Action:            redacted-from-logs     │
# │ Approval Required:     no                     │
# ├──────────────────────────────────────────────┤
# │ Agent Response:                                │
# │ "I've checked order #ORD-9876 for the         │
# │  customer. The order shipped on March 18       │
# │  via FedEx (tracking: FX123456789). Expected  │
# │  delivery is March 21."                        │
# └──────────────────────────────────────────────┘

•Phân loại ý định là yêu cầu khách hàng thường ngày
•Phát hiện PII (tên và ID khách hàng) và che giấu khỏi nhật ký
•Định tuyến yêu cầu đến mô hình Nemotron cục bộ
•Cấp quyền truy cập mạng chỉ cho API CRM và đơn hàng
•Xác định rằng không cần phê duyệt của con người

Bước 7: Giám Sát Bằng Dashboard

Mở http://localhost:7860/dashboard trong trình duyệt để truy cập dashboard giám sát NemoClaw. Các tính năng chính bao gồm:

•Luồng sự kiện thời gian thực — mọi hành động tác nhân, đánh giá chính sách và quyết định bảo mật
•Cảnh báo vi phạm chính sách — thông báo tức thì khi tác nhân cố gắng thực hiện hành động trái phép
•Nhật ký kiểm toán — bản ghi đầy đủ, không thể thay đổi về tất cả hoạt động của tác nhân
•Chỉ số hiệu năng — độ trễ, thông lượng và mức sử dụng tài nguyên
•Hàng đợi phê duyệt — các yêu cầu phê duyệt đang chờ cho các hành động có rủi ro cao

Các Mẫu Cấu Hình Phổ Biến

Kết Nối Với API Bên Ngoài

Để cho phép tác nhân truy cập các dịch vụ bên ngoài, cập nhật chính sách mạng:

yaml

# policies/network.yaml
networkPolicy:
  egress:
    allow:
      - domain: "api.zendesk.com"
        methods: [GET, POST, PUT]
        headers:
          required: ["Authorization"]
      - domain: "api.stripe.com"
        methods: [GET]  # Read-only access to payment data

Cấu Hình Phê Duyệt Người Vận Hành

Thiết lập quy trình phê duyệt cho các thao tác nhạy cảm:

yaml

# policies/sandbox.yaml
approvalWorkflow:
  enabled: true
  rules:
    - action: "refund.process"
      condition: "amount > 100"
      approvers: ["support-leads"]
      channel: "slack"
      timeout: "10m"
    - action: "account.modify"
      condition: "always"
      approvers: ["account-managers"]
      channel: "teams"
      timeout: "15m"

Kích Hoạt Định Tuyến Mô Hình Đám Mây

Đối với các tác vụ không nhạy cảm, bạn có thể bật định tuyến mô hình đám mây để có hiệu năng tốt hơn:

yaml

# policies/privacy.yaml
privacyRouter:
  defaultRoute: local
  cloudEndpoints:
    - name: "nvidia-nim"
      url: "https://build.nvidia.com"
      apiKey: "${NVIDIA_API_KEY}"
      allowedSensitivity: ["public", "internal"]

Khắc Phục Sự Cố

Module nhân OpenShell không tải được

bash

# Check kernel module status
nemoclaw diagnose openshell

# If using a custom kernel, ensure eBPF is enabled
# and the kernel version is 5.15+

Tải mô hình hết bộ nhớ

bash

# Check available GPU memory
nemoclaw diagnose gpu

# Switch to a smaller quantization or model
nemoclaw model pull nemotron-120b-moe-int2  # Smaller but less accurate
nemoclaw model pull nemotron-nano-4b  # Much smaller

Các Bước Tiếp Theo

Bây giờ bạn đã có một triển khai NemoClaw hoạt động đầy đủ trên DGX Spark. Từ đây, bạn có thể:

1.Tùy chỉnh chính sách bảo mật cho trường hợp sử dụng cụ thể của bạn
2.Xây dựng blueprint tùy chỉnh cho quy trình tác nhân của tổ chức
3.Tích hợp với các công cụ SIEM và quan sát hiện có
4.Mở rộng sang triển khai đa nút sử dụng chế độ NemoClaw Cluster

Hãy xem bài viết tiếp theo trong chuỗi này để tìm hiểu sâu về môi trường chạy bảo mật của OpenShell.

Bắt Đầu Với NemoClaw Trên DGX Spark