V2 独立版愿景

国产GPU支持

HeteroFlow 是本站的异构算力与大模型调度产品。国产GPU支持。国产 GPU 支持 硬件验证边界(截至 2026-10-20) :本文中的“10 种品牌/检测器”指代码检测与适配范围,不代表 10 种硬件都完成了真机端到端验证。现有项目记录显示 NVIDIA 多机型已有真机端到端证据;国产加速卡检测逻辑已做软件及厂商命令输出对照,真机端到端验…

国产 GPU 支持

> 硬件验证边界(截至 2026-10-20):本文中的“10 种品牌/检测器”指代码检测与适配范围,不代表 10 种硬件都完成了真机端到端验证。现有项目记录显示 NVIDIA 多机型已有真机端到端证据;国产加速卡检测逻辑已做软件及厂商命令输出对照,真机端到端验证仍待对应硬件。

HeteroFlow V2 支持 10 种国产及国际 GPU 品牌的自动识别与调度,覆盖当前主流的异构算力硬件。

GPU 品牌支持矩阵

GPU 品牌类型标识检测工具状态分片支持
NVIDIAnvidianvidia-smi真机验证MIG, MPS(真机验证)
海光 DCUhygonhy-smi已适配软件记账
华为昇腾ascendnpu-smi已适配软件记账
摩尔线程musamthreads-gmi已适配软件记账
壁仞birenbirensmi已适配软件记账
沐曦 MetaXmetaxcorex-smi已适配-
天数智芯iluvatarixsmi已适配-
燧原 S60enflameenfma-smi已适配-
寒武纪cambriconcnmon适配中软件记账
百度昆仑kunlunxpu_smi适配中-

> 分片口径说明:硬件级(MIG)/驱动级(MPS)切分当前仅在 NVIDIA 系完成真机验证;国产卡的硬件/驱动级切分适配在开发中,生产环境对国产卡统一采用软件显存记账(Bronze QoS),详见《GPU 显存分片》。

GPU 检测原理

Agent 启动时按优先级顺序逐一检测 GPU 品牌:

1. 摩尔线程 MUSA → mthreads-gmi / mthreads-smi
2. 海光 DCU    → hy-smi
3. 寒武纪      → cnmon
4. 壁仞        → birensmi
5. 华为昇腾    → npu-smi
6. 百度昆仑    → xpu_smi
7. 天数智芯    → ixsmi
8. NVIDIA     → nvidia-smi
9. 沐曦 MetaX → corex-smi
10. 燧原 S60  → enfma-smi

检测工具搜索路径

每种检测工具会在以下路径搜索:

  • /usr/bin
  • /usr/local/bin
  • /opt/{tool}/bin
  • 厂商特定安装路径

检测器三步流程

HasGPU()       → 检查工具是否存在
Detect()       → 检测所有 GPU 设备(型号/显存/温度/利用率)
CollectStats() → 采集单个 GPU 实时指标(心跳时调用)

GPU 类型优先级

调度时国产 GPU 优先级更高:

MUSA(1) > 海光DCU(2) > 寒武纪(3) > 壁仞(4) > 昇腾(5) > 昆仑(6) > AMD(7) > NVIDIA(8) > 虚拟(9)

国产 GPU 优先级高于 NVIDIA,确保异构环境下优先利用国产算力资源。

分片支持

GPU 品牌分片技术分片层级隔离级别平台状态
NVIDIAMIGTier 1 Gold硬件切分真机验证(A800 全流程)
NVIDIAMPSTier 2 Silver驱动级配额真机验证(算力限额)
国产各厂商硬件切分适配——适配开发中,未接执行通道
所有软件显存记账Tier 3 Bronze软件记账生产默认(国产卡与 pre-Volta 老卡统一落此档)

推理引擎支持

不同 GPU 品牌对应的推荐推理引擎:

GPU 品牌推荐引擎备选引擎
NVIDIAvLLMSGLang, llama.cpp
海光 DCUvLLMllama.cpp
华为昇腾MINDIE-
摩尔线程vLLM-MTT-
壁仞llama.cpp-
天数智芯llama.cpp-
其他llama.cpp(通用兼容)-

特殊处理

壁仞 GPU 型号识别

壁仞 GPU 通过显存特征值二次修正:

显存识别型号
32512 MBBiren106M
65536 MBBiren BR100
其他Biren GPU ({memory}MB)

壁仞去重

birensmi 表格解析可能产生重复条目,Server 端只保留第一个有效 GPU。

部署各 GPU 节点

NVIDIA 节点

# 安装驱动
sudo apt-get install nvidia-driver-535

# 安装 Container Toolkit
sudo apt-get install nvidia-container-toolkit

# 验证
nvidia-smi

海光 DCU 节点

# 安装 DTK 驱动
sudo rpm -ivh hyhal*.rpm

# 验证
hy-smi

华为昇腾节点

# 安装 CANN 驱动
./Ascend-hdk-*.run --install

# 验证
npu-smi info

摩尔线程节点

# 安装 MUSA 驱动
sudo ./mthreads-gmi-*.run

# 验证
mthreads-gmi

环境变量配置

Agent 的 GPU 类型可通过配置文件或环境变量指定:

{
  "gpu_type": "nvidia"
}

不指定时 Agent 自动检测。自动检测的结果会在 Server 端的节点信息中体现为 gpu_type_labels。