功能总览

功能总览

> 硬件验证边界（截至 2026-10-20）：本文中的“10 种品牌/检测器”指代码检测与适配范围，不代表 10 种硬件都完成了真机端到端验证。现有项目记录显示 NVIDIA 多机型已有真机端到端证据；国产加速卡检测逻辑已做软件及厂商命令输出对照，真机端到端验证仍待对应硬件。

HeteroFlow V2 提供了一套完整的异构算力 GPU 调度与推理服务平台。

推理服务管理

• TaskGroup 统一管理 — 一个 TaskGroup = 一个推理服务
• 多引擎支持 — vLLM、SGLang、llama.cpp、MINDIE、vLLM-MTT
• OpenAI 兼容 API — 直接使用 OpenAI SDK 调用推理服务
• 推理网关 — 负载均衡、灰度路由、健康检查、故障恢复
• 模型管理 — 自动扫描发现、一键注册、自动创建推理服务
• 模型路由 — 多版本/多引擎路由，支持灰度发布
• 自动伸缩 — 基于 GPU 利用率等指标自动扩缩
• 滚动更新 — 零停机更新推理服务镜像
• 休眠/唤醒 — 空闲自动休眠释放 GPU，请求到达自动唤醒
• 调度窗口 — 按时间段自动暂停/缩容推理服务
• 多模型混部 — GPU 显存感知调度，支持超分策略

节点管理

• 10 种 GPU 品牌自动识别和接入
• 实时监控节点状态（在线/繁忙/可疑/离线/降级）
• CPU、内存、GPU 硬件信息展示
• 节点心跳检测（10s 心跳，30s/60s 超时判定）
• 推理引擎自动检测（vLLM、llama.cpp、MindIE）
• GPU 详细监控（型号/显存/利用率/温度）

任务管理

• 任务创建、调度、执行、完成全生命周期
• 任务优先级（High/Medium/Low）
• 智能重试（OOM/节点故障/永久错误自动分类处理）
• 任务日志查看
• CAS 状态机保证并发安全

GPU 分片

• 三级分片策略：Gold（MIG 硬件切分）/ Silver（MPS 驱动配额）/ Bronze（软件记账）
• NVIDIA MIG、NVIDIA MPS 已真机验证；国产卡生产环境统一软件记账（硬件切分适配开发中）
• QoS 自动降级
• 防碎片机制：Best-Fit 选卡 + 孤儿分片每 60 秒自动回收

调度引擎

• 五阶段流水线：PreScore → Filter → Score → PostScore → Bind
• 内置 7+ 调度插件（Binpack、Spread、NVLink、Topology 等）
• GPU 感知调度（类型匹配、VRAM 估算、模型位置感知）
• Worker Pool 并发调度 + 优先级排序

监控与告警

• 集群仪表盘（在线节点、GPU 总数、运行任务、可用显存）
• 节点级监控曲线（GPU 利用率、显存、温度、CPU、内存）
• 历史数据存储和查询（支持 1h/6h/24h/3d/7d）
• GPU 温度过高、利用率过高、显存不足等告警
• 节点离线告警、任务失败告警

认证与权限

• JWT Token 认证（Web UI 用户）
• API Key 认证（Agent 节点）
• API Key 管理（推理服务自动生成 sk-UUID 格式）
• RBAC 角色权限（admin/user）

日志审计

• 用户操作审计
• 任务执行审计
• 节点事件审计
• 推理服务操作审计

环境检测

• GPU 类型自动检测（10 种品牌）
• Docker 可用性检测
• 推理引擎检测（vLLM/llama.cpp/SGLang/MindIE）
• 模型文件自动扫描（HuggingFace/GGUF）

接下来

• [GPU 统一调度](./gpu-scheduling) — GPU 调度系统详解
• [GPU 显存分片](./memory-slicing) — 三级分片策略
• [推理服务](./inference-service) — 推理服务管理
• [模型管理](./model-management) — 模型注册和发现
• [推理网关](./inference-gateway) — OpenAI 兼容网关
• [节点管理](./node-management) — 节点注册和监控
• [插件系统](./plugin-system) — 调度插件开发
• [智能重试](./smart-retry) — 失败分类处理