V2 独立版愿景
国产GPU支持
HeteroFlow 是本站的异构算力与大模型调度产品。国产GPU支持。国产 GPU 支持 硬件验证边界(截至 2026-10-20) :本文中的“10 种品牌/检测器”指代码检测与适配范围,不代表 10 种硬件都完成了真机端到端验证。现有项目记录显示 NVIDIA 多机型已有真机端到端证据;国产加速卡检测逻辑已做软件及厂商命令输出对照,真机端到端验…
国产 GPU 支持
> 硬件验证边界(截至 2026-10-20):本文中的“10 种品牌/检测器”指代码检测与适配范围,不代表 10 种硬件都完成了真机端到端验证。现有项目记录显示 NVIDIA 多机型已有真机端到端证据;国产加速卡检测逻辑已做软件及厂商命令输出对照,真机端到端验证仍待对应硬件。
HeteroFlow V2 支持 10 种国产及国际 GPU 品牌的自动识别与调度,覆盖当前主流的异构算力硬件。
GPU 品牌支持矩阵
| GPU 品牌 | 类型标识 | 检测工具 | 状态 | 分片支持 |
|---|---|---|---|---|
| NVIDIA | nvidia | nvidia-smi | 真机验证 | MIG, MPS(真机验证) |
| 海光 DCU | hygon | hy-smi | 已适配 | 软件记账 |
| 华为昇腾 | ascend | npu-smi | 已适配 | 软件记账 |
| 摩尔线程 | musa | mthreads-gmi | 已适配 | 软件记账 |
| 壁仞 | biren | birensmi | 已适配 | 软件记账 |
| 沐曦 MetaX | metax | corex-smi | 已适配 | - |
| 天数智芯 | iluvatar | ixsmi | 已适配 | - |
| 燧原 S60 | enflame | enfma-smi | 已适配 | - |
| 寒武纪 | cambricon | cnmon | 适配中 | 软件记账 |
| 百度昆仑 | kunlun | xpu_smi | 适配中 | - |
> 分片口径说明:硬件级(MIG)/驱动级(MPS)切分当前仅在 NVIDIA 系完成真机验证;国产卡的硬件/驱动级切分适配在开发中,生产环境对国产卡统一采用软件显存记账(Bronze QoS),详见《GPU 显存分片》。
GPU 检测原理
Agent 启动时按优先级顺序逐一检测 GPU 品牌:
1. 摩尔线程 MUSA → mthreads-gmi / mthreads-smi
2. 海光 DCU → hy-smi
3. 寒武纪 → cnmon
4. 壁仞 → birensmi
5. 华为昇腾 → npu-smi
6. 百度昆仑 → xpu_smi
7. 天数智芯 → ixsmi
8. NVIDIA → nvidia-smi
9. 沐曦 MetaX → corex-smi
10. 燧原 S60 → enfma-smi检测工具搜索路径
每种检测工具会在以下路径搜索:
/usr/bin/usr/local/bin/opt/{tool}/bin- 厂商特定安装路径
检测器三步流程
HasGPU() → 检查工具是否存在
Detect() → 检测所有 GPU 设备(型号/显存/温度/利用率)
CollectStats() → 采集单个 GPU 实时指标(心跳时调用)GPU 类型优先级
调度时国产 GPU 优先级更高:
MUSA(1) > 海光DCU(2) > 寒武纪(3) > 壁仞(4) > 昇腾(5) > 昆仑(6) > AMD(7) > NVIDIA(8) > 虚拟(9)国产 GPU 优先级高于 NVIDIA,确保异构环境下优先利用国产算力资源。
分片支持
| GPU 品牌 | 分片技术 | 分片层级 | 隔离级别 | 平台状态 |
|---|---|---|---|---|
| NVIDIA | MIG | Tier 1 Gold | 硬件切分 | 真机验证(A800 全流程) |
| NVIDIA | MPS | Tier 2 Silver | 驱动级配额 | 真机验证(算力限额) |
| 国产各厂商 | 硬件切分适配 | — | — | 适配开发中,未接执行通道 |
| 所有 | 软件显存记账 | Tier 3 Bronze | 软件记账 | 生产默认(国产卡与 pre-Volta 老卡统一落此档) |
推理引擎支持
不同 GPU 品牌对应的推荐推理引擎:
| GPU 品牌 | 推荐引擎 | 备选引擎 |
|---|---|---|
| NVIDIA | vLLM | SGLang, llama.cpp |
| 海光 DCU | vLLM | llama.cpp |
| 华为昇腾 | MINDIE | - |
| 摩尔线程 | vLLM-MTT | - |
| 壁仞 | llama.cpp | - |
| 天数智芯 | llama.cpp | - |
| 其他 | llama.cpp(通用兼容) | - |
特殊处理
壁仞 GPU 型号识别
壁仞 GPU 通过显存特征值二次修正:
| 显存 | 识别型号 |
|---|---|
| 32512 MB | Biren106M |
| 65536 MB | Biren BR100 |
| 其他 | Biren GPU ({memory}MB) |
壁仞去重
birensmi 表格解析可能产生重复条目,Server 端只保留第一个有效 GPU。
部署各 GPU 节点
NVIDIA 节点
# 安装驱动
sudo apt-get install nvidia-driver-535
# 安装 Container Toolkit
sudo apt-get install nvidia-container-toolkit
# 验证
nvidia-smi海光 DCU 节点
# 安装 DTK 驱动
sudo rpm -ivh hyhal*.rpm
# 验证
hy-smi华为昇腾节点
# 安装 CANN 驱动
./Ascend-hdk-*.run --install
# 验证
npu-smi info摩尔线程节点
# 安装 MUSA 驱动
sudo ./mthreads-gmi-*.run
# 验证
mthreads-gmi环境变量配置
Agent 的 GPU 类型可通过配置文件或环境变量指定:
{
"gpu_type": "nvidia"
}不指定时 Agent 自动检测。自动检测的结果会在 Server 端的节点信息中体现为 gpu_type_labels。