用户指南

用户指南

HeteroFlow V2 用户指南，帮助你全面了解系统的各项功能。

仪表盘

系统仪表盘提供集群全局概览：

• 在线节点数：当前在线的 GPU 节点数量
• 总 GPU 数：集群中所有 GPU 的总数
• 可用显存：集群剩余可用的 GPU 显存总量
• 运行中任务：当前正在执行的任务数量
• 活跃分片：当前活跃的 GPU 分片数量

推理服务管理

创建推理服务

1. 在左侧导航栏点击「推理服务」

2. 点击「创建推理服务」

3. 配置基本参数：

- 服务名称（必填）

- Docker 镜像（必填，如 vllm/vllm-openai:latest）

- GPU 数量（必填）

- GPU 类型（可选，不选则自动匹配）

- 模型路径（可选）

- 端口映射（可选）

4. 可选高级配置：

- 自动伸缩

- 健康检查

- 路由配置（灰度/权重）

- QoS 级别

5. 点击「创建」

管理推理服务

API Key

创建推理服务时自动生成 API Key（格式 sk-UUID），用于 OpenAI 兼容接口调用。在服务卡片上可查看和复制。

节点管理

节点信息

节点列表展示每个节点的：

• 状态（在线/繁忙/可疑/离线/降级）
• GPU 类型标签和推理引擎
• CPU 核心数和内存大小
• GPU 状态条（工作中/总数比例）
• 显存使用量
• 任务统计

节点监控

点击节点进入监控页面，可查看：

• GPU 利用率/显存/温度实时指标和历史曲线
• CPU/内存使用率趋势
• 支持按单个 GPU 或聚合查看

模型管理

扫描模型

点击「扫描模型」按钮，系统自动扫描所有在线节点上的模型文件（HuggingFace/GGUF 格式）。

添加模型

• 一键添加：扫描发现后点击「添加」，自动创建推理服务
• 手动添加：填写模型名称、节点、路径等信息

任务管理

提交任务

curl -X POST http://localhost:3333/api/v1/tasks \
  -H "Authorization: Bearer <token>" \
  -d ''{
    "name": "training-job",
    "image": "pytorch/pytorch:2.0",
    "command": ["python", "train.py"],
    "priority": "high",
    "resources": {"gpu_type": "nvidia", "gpu_count": 2}
  }''

任务状态

Pending → Scheduled → Running → Completed
                   ↘ Failed（可重试）
                   ↘ Cancelled

插件管理

在插件管理页面可：

• 查看所有内置插件及其状态
• 启用/禁用插件
• 调整插件权重和配置

系统设置

管理员可在系统设置中：

• 管理用户和角色
• 配置调度器参数
• 设置告警规则
• 查看日志审计