HeteroFlow v2.6 发布:推理服务与分布式训练正式上线
> 历史公告(2026-10-05):本文记录 v2.6.88 发布时的能力说明;文中品牌数量为代码检测/适配范围,不代表全部品牌已完成真机端到端验证。
HeteroFlow v2.6.88 现已发布,平台从异构 GPU 调度器全面升级为训推一体的算力调度平台:
推理服务 — OpenAI 兼容网关(/v1/chat/completions、/v1/completions、/v1/embeddings),vLLM / SGLang / llama.cpp / TRT-LLM 多引擎智能选择,会话粘性负载均衡,TP 多卡张量并行,自动伸缩与滚动更新。
分布式训练 — 支持 DDP / DeepSpeed / FSDP / Megatron-LM / TensorFlow / PaddlePaddle 六大框架,静态 world 编排、checkpoint 断点续训、多机分布式训练、训练故障自动重建。
GPU 切分 — 显存记账分片 + MIG 硬件级切分(已在 A800 真机全量验证),同租户多任务并发共享单卡。
多租户 — 租户内三级角色(admin/member/viewer)、成员级 API Key、配额与 QPS 限流、跨租户共享租户组。
可观测性 — GPU 功耗与能耗统计、显存故障预测(实验性)、GPU 卡丢失识别、企业微信/钉钉/飞书三渠道告警。
GPU 品牌适配扩展至 10 种:摩尔线程、海光、寒武纪、壁仞、昇腾、昆仑芯、天数智芯、NVIDIA、沐曦、燧原。
平台工程 — 智能失败分类重试(OOM 自动搬家换节点)、存储卷按名挂载、模型扫描一键自动上线推理服务、运维态镜像预热通道、推理调度窗口闲时优化、Agent 单向网络部署(NAT 节点免公网直连)。

