V2 独立版愿景

概述

HeteroFlow 是本站的异构算力与大模型调度产品。概述。HeteroFlow V2 概述硬件验证边界（截至 2026-10-20）：本文中的“10 种品牌/检测器”指代码检测与适配范围，不代表 10 种硬件都完成了真机端到端验证。现有项目记录显示 NVIDIA 多机型已有真机端到端证据；国产加速卡检测逻辑已做软件及厂商命令输出对照…

HeteroFlow V2 概述

> 硬件验证边界（截至 2026-10-20）：本文中的“10 种品牌/检测器”指代码检测与适配范围，不代表 10 种硬件都完成了真机端到端验证。现有项目记录显示 NVIDIA 多机型已有真机端到端证据；国产加速卡检测逻辑已做软件及厂商命令输出对照，真机端到端验证仍待对应硬件。

项目简介

HeteroFlow V2 是面向异构计算场景的 GPU 资源调度与推理服务平台，支持 10 种国产及国际 GPU/NPU/DCU 品牌，提供任务调度、GPU 分片共享、推理服务管理、插件扩展、实时监控、OpenAI 兼容 API 等核心能力。开源版适用于裸金属服务器和云 GPU 实例直连部署。

核心特性

GPU 多品牌适配 — 支持 10 种 GPU 品牌（NVIDIA、海光、昇腾、摩尔线程、寒武纪、壁仞、沐曦、天数智芯、昆仑、燧原），NVIDIA 系已完成真机验证，寒武纪、昆仑芯适配中
推理服务管理 — TaskGroup 统一管理推理服务，支持单卡/多卡TP/Split 部署，OpenAI 兼容 API 一键调用
推理网关 — 内置 Gateway 提供 OpenAI API 兼容层，支持负载均衡、灰度路由、健康检查
模型管理 — Agent 自动扫描发现模型，一键注册自动创建推理服务
插件化调度 — 评分/过滤/动作三层插件框架，内置 binpack、spread、拓扑感知、NVLink、RDMA 等策略
GPU 分片共享 — 三级分片策略（硬件级/驱动级/软件级），Gold/Silver/Bronze QoS
智能重试 — 失败任务自动分类（OOM/节点故障/永久错误），自动迁移重试
自动伸缩 — 基于 GPU 利用率等指标的推理服务自动扩缩
滚动更新 — Generation 追踪，零停机更新推理服务镜像
一键部署 — Agent 自动检测 GPU 类型、推理引擎、安装运行时
Web 管理界面 — React 前端，实时监控节点/任务/GPU/推理服务状态
认证与权限 — JWT 认证 + RBAC 角色权限控制 + API Key 管理

系统架构

┌─────────────────────────────────────────────────────────────────────┐
│                         Web UI (React + Vite)                       │
│  仪表盘 | 任务管理 | 节点管理 | 推理服务 | 模型管理 | 告警 | 日志 | 插件 │
└──────────────────────────────────┬──────────────────────────────────┘
                                   │ REST API + OpenAI API
┌──────────────────────────────────▼──────────────────────────────────┐
│                      HeteroFlow Server (Go, :3333)                  │
│   认证(JWT) | 路由 | CORS | Gateway | ModelRoute | 调度器           │
├──────────────────────────────────────────────────────────────────────┤
│  调度引擎: PreScore → Filter → Score → PostScore → Bind            │
│  插件: ResourceFilter | GPUFilter | Binpack | Spread | NVLink       │
│  推理: TaskGroup | Gateway | ModelCache | AutoScale | RollingUpdate │
├──────────────────────────────────────────────────────────────────────┤
│  GPU 分片: MIG(硬件级)/MPS(驱动级)/软件显存记账                    │
├──────────────────────────────────────────────────────────────────────┤
│  存储: SQLite (裸金属) | PostgreSQL (生产)                          │
└──────────────────────────────────┬──────────────────────────────────┘
                                   │ 心跳 / 任务执行
┌──────────────────────────────────▼──────────────────────────────────┐
│                    Agent (GPU 计算节点)                              │
│  GPU 检测(10种) | 任务执行 | 指标采集 | 模型扫描 | 推理引擎检测     │
└──────────────────────────────────────────────────────────────────────┘

支持的 GPU 品牌

品牌	类型标识	检测工具	状态
NVIDIA	nvidia	nvidia-smi	真机验证
海光 DCU	hygon	hy-smi	已适配
华为昇腾	ascend	npu-smi	已适配
摩尔线程	musa	mthreads-gmi	已适配
寒武纪	cambricon	cnmon	适配中
壁仞	biren	birensmi	已适配
沐曦 MetaX	metax	corex-smi	已适配
天数智芯	iluvatar	ixsmi	已适配
百度昆仑	kunlun	xpu_smi	适配中
燧原 S60	enflame	enfma-smi	已适配

支持的推理引擎

引擎	支持 GPU	特点
vLLM	NVIDIA, AMD, 海光	高性能 PagedAttention
SGLang	NVIDIA, AMD, 海光	RadixAttention
llama.cpp	NVIDIA, AMD, 海光	轻量，兼容旧 GPU
MINDIE	华为昇腾	昇腾专用
vLLM-MTT	摩尔线程	摩尔线程专用

快速开始

# 1. 编译部署 Server
git clone https://gitee.com/heteroflow/HeteroFlow.git
cd HeteroFlow && go build -o server ./v2/cmd

# 2. 配置并启动
cp config.yaml.example config.yaml
./server

# 3. 在 GPU 节点部署 Agent
curl -fsSL http://server:5173/deploy-agent-all-in-one.sh | bash

# 4. 创建推理服务并调用
curl -X POST http://localhost:3333/api/v1/task-groups \
  -H "Content-Type: application/json" \
  -d ''{"name":"my-service","image":"vllm/vllm-openai:latest","gpu_required":1}''

# 5. 使用 OpenAI SDK 调用
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3333/v1", api_key="sk-xxx")

开源协议

HeteroFlow V2 采用 Apache 2.0 开源协议。

概述