异构算力调度平台 · V2 裸金属架构/云服务器架构/不支持K8S架构

HeteroFlow异构国产算力调度管理平台

面向企业的异构国产算力统一调度与纳管,是国企,私企的私有化部署不同模型的关键环节,解决算力资源的利用率不足,token产量低,不同芯片算力卡无法兼容生产。

统一接入 市面10+的品牌GPU 节点,按任务需求筛选资源,并追踪从提交到执行的状态

面向裸金属与云服务器环境;当前不提供 Kubernetes 编排。

异构算力平台产品界面示意
资源总览 界面示意
纳管节点200示意数据
GPU 数量768示意数据
运行任务165示意数据
异构加速卡品牌方向规划示意 ·10
摩尔线程MUSA / MThreads
海光DCU / Hygon
寒武纪MLU / Cambricon
壁仞BR / Biren
昇腾Ascend NPU
昆仑芯XPU / Kunlun
天数智芯Iluvatar CoreX
NVIDIACUDA / GPU Ops
沐曦MetaX
燧原Enflame

品牌为适配规划方向,不代表当前已交付兼容或在线设备。

异构资源纳管GPU 统一调度显存分片
gpu-node-01 · NVIDIA在线示意4 GPU
gpu-node-02 · 异构设备在线示意8 GPU
场景 01 / 05

所有指标与曲线均为界面示意,不代表当前部署、真实节点或实时遥测;品牌列表为适配规划方向。

公告

HeteroFlow v2.6 发布:推理服务与分布式训练正式上线

> 历史公告(2026-10-05):本文记录 v2.6.88 发布时的能力说明;文中品牌数量为代码检测/适配范围,不代表全部品牌已完成真机端到端验证。

HeteroFlow v2.6.88 现已发布,平台从异构 GPU 调度器全面升级为训推一体的算力调度平台:

推理服务 — OpenAI 兼容网关(/v1/chat/completions、/v1/completions、/v1/embeddings),vLLM / SGLang / llama.cpp / TRT-LLM 多引擎智能选择,会话粘性负载均衡,TP 多卡张量并行,自动伸缩与滚动更新。

分布式训练 — 支持 DDP / DeepSpeed / FSDP / Megatron-LM / TensorFlow / PaddlePaddle 六大框架,静态 world 编排、checkpoint 断点续训、多机分布式训练、训练故障自动重建。

GPU 切分 — 显存记账分片 + MIG 硬件级切分(已在 A800 真机全量验证),同租户多任务并发共享单卡。

多租户 — 租户内三级角色(admin/member/viewer)、成员级 API Key、配额与 QPS 限流、跨租户共享租户组。

可观测性 — GPU 功耗与能耗统计、显存故障预测(实验性)、GPU 卡丢失识别、企业微信/钉钉/飞书三渠道告警。

GPU 品牌适配扩展至 10 种:摩尔线程、海光、寒武纪、壁仞、昇腾、昆仑芯、天数智芯、NVIDIA、沐曦、燧原。

平台工程 — 智能失败分类重试(OOM 自动搬家换节点)、存储卷按名挂载、模型扫描一键自动上线推理服务、运维态镜像预热通道、推理调度窗口闲时优化、Agent 单向网络部署(NAT 节点免公网直连)。

战略调整:聚焦裸金属独立版,V3 K8s 版本停止开发

为集中资源打磨更顺畅的独立版部署体验,HeteroFlow 决定战略聚焦裸金属独立版(V2),V3 Kubernetes 版本即日起停止开发。

独立版无需 Kubernetes 依赖,Server 二进制 + Agent 一键部署,30 秒节点上线,已在 NVIDIA L20 / T4 / RTX 4060(含 WSL2)等多机型完成端到端真机验证,并具备多实例选主高可用部署能力。

感谢社区对 V3 的关注与反馈。相关文档入口已下线,历史内容可联系团队获取。

产品能力

把分散的 GPU 资源纳入一套调度管理

01 / 异构国产+英伟达算力管理

集群/节点/设备统一纳管

Agent 采集节点不同集群,不同节点,与 GPU 信息并周期上报可视化Web UI;平台按可见范围呈现节点、设备和资源状态,历史追溯。解决不同厂商算力管理难题

02 / 推理/训练/图形/视频任务统一调度

多种类型任务调度

支持10+不同厂商异构算力卡,统一编排,智能调度。提高算力利用率与token产量。解决企业算力利用率低与不同类型算力无法统一执行任务

03 / 支持多种推理引擎

单节点跑多引擎/模型

支持多节点多卡并行执行任务/单节点同时启动不同引擎中的模型实例,执行不同类型任务,无任务的引擎模型可自动休眠/算力释放到任务重的模型中,大大提高算力资源使用率

04 / 独立的训练微调服务任务

支持多框架模型训练/微调

支持单节点训推一体,白天推理,晚上训练/长训练任务故障迁移,断点续训,可视化训练/微调进度曲线,实时状态以及日志可追溯历史。

05 / 能耗与排放PUE

让算力消耗有据可查

根据采集到的 GPU 功率和运行时间,累计节点及任务的能耗,并结合配置的排放因子估算碳排放,帮助管理者了解算力资源的能源消耗。

06 / 算力卡健康管理

算力发现异常走向风险预警

持续记录设备可提供的 ECC 错误、显存退役页、行重映射等健康指标,查看历史变化,并根据错误增长趋势提供规则型风险提示;结合掉卡识别与调度保护,辅助运维处理。

07 / GPU 多级分片

单算力卡切分成多个算力卡

围绕不同设备能力,提供软件份额管理、MPS 共享限额及支持设备上的 MIG 硬件切分路径,将 GPU 资源纳入统一分配和调度。 让不同规模的任务按需用卡

08 / 高可用与多租户

支撑多实例运行多团队协作

高可用方面,平台具备控制面实例登记、主实例选举,以及任务状态和资源账本的一致性保护机制。多租户方面,提供租户与成员角色、权限控制、资源配额、使用统计及审计,并区分共享资源和专属资源

09 / 集中掌握算力池运行状况/精确到每一个算力卡

集群/节点GPU算力卡监控

在统一界面查看不同集群/节点在线状态、CPU 与内存使用情况,以及 GPU算力卡 利用率、显存、温度、功耗和任务运行信息,结合历史指标

HOW IT WORKS

控制面、仪表盘、节点 Agent 与 GPU 设备协同工作

以下结构按当前 V2 架构整理。多实例选主与共享存储的边界请以部署文档为准。

HeteroFlow V2 · 裸金属架构基于项目架构文档

Web UI / API

提交任务 · 查看资源

控制面 Server

API 与认证 · 调度器 · 插件

推理任务组与管理接口

节点 Agent

设备检测 · 心跳上报

拉取任务 · Docker 执行

GPU 设备

节点本机算力

PostgreSQL持久化存储;多实例选主使用同一数据库锁域状态与资源记录

架构示意。图中省略了具体网络、存储卷、认证部署和故障恢复拓扑;高可用边界需结合部署条件核对。

TASK LIFECYCLE

从任务提交到节点执行

调度服务筛选并绑定合适的节点,Agent 拉取已调度任务、启动执行并回报状态。

查看部署与使用文档
任务调度与执行V2 流程示意
  1. 1

    提交任务

    通过 Web UI 或 API 提交任务请求

  2. 2

    筛选候选节点

    按资源、节点状态及调度规则过滤与评分

  3. 3

    绑定节点并标记已调度

    复核资源后通过状态认领完成绑定

  4. 4

    Agent 拉取执行

    节点 Agent 认领任务并启动容器

  5. 5

    回报运行状态

    Agent 上报任务与节点状态,平台供查询和观测

流程概览,省略了重试、失败、训练组与推理任务组等分支;具体状态以任务类型和文档说明为准。

NEXT STEP

讨论你的节点环境与调度需求

产品适配范围、部署条件和验收方式可在沟通中逐项确认。