> 版本与验证范围说明（2026-10-05）：本文以 v2.6.88 为当日版本基线。“10 种 GPU”表示代码检测/适配范围，不等同于 10 种硬件均完成真机端到端验证。现有项目记录显示 NVIDIA 多机型有真机端到端证据；国产加速卡仍待真机端到端验证。请勿将本文历史版本号当作当前发布版本。
2026 年 5 月以来，HeteroFlow 经历了从"异构 GPU 调度器"到"训推一体算力平台"的全面演进。本文以 v2.6.88 为基线，梳理平台当前的全景能力。
一、10 种 GPU 品牌统一调度
Agent 检测层完成 10 家 GPU 品牌适配：摩尔线程 MUSA、海光 DCU、寒武纪 MLU、壁仞 BR、昇腾 NPU、昆仑芯 XPU、天数智芯、NVIDIA、沐曦、燧原。统一资源池、统一任务模型、统一监控口径；其中 NVIDIA 已在 L20 / T4 / RTX 4060（含 WSL2）多机型完成端到端真机验证。
调度器采用类 Kubernetes Scheduler 的五阶段流水线（PreScore → Filter → Score → PostScore → Bind），内置 Binpack、Spread、GPUFilter、ResourceFilter、RDMA、Topology、NVLink、Preempt 8 个插件，全流水线可扩展。
二、推理服务：OpenAI 兼容网关
- 接口：/v1/chat/completions、/v1/completions、/v1/embeddings，同一 API-Key 鉴权、按 model 路由
- 多引擎：vLLM / SGLang / llama.cpp / TRT-LLM，GPU 感知选择 + 按算力自动踢档（老卡走 llama.cpp）
- 会话粘性：五级 key 级联的会话粘性负载均衡，长会话缓存命中率显著提升
- 多卡并行：TP 张量并行（双卡 A10 真机验证）
- 弹性：自动伸缩、滚动更新、模型本地缓存、探测失败自动摘除
- 高并发：网关层修复后 450 并发请求成功率 99.8%
三、分布式训练
TaskGroup training 类型支持 DDP / DeepSpeed / FSDP / Megatron-LM / TensorFlow / PaddlePaddle：
- 静态 world 编排、组级故障重建、节点失联自动重排
- checkpoint 断点续训（真机验证：FSDP loss 0.372 → 0.004，续训从断点接续）
- 多机训练创建守卫：缺分布式启动器直接拒绝、多机 checkpoint 非共享存储软告警
- 训练任务双向不参与抢占，排队 + 优先级 FIFO 即竞争方式
四、GPU 分片与硬件级切分
- 显存记账分片：同租户（或共享租户组内）显存与算力复用，限额环境变量注入，防"善意超用"
- MIG 硬件级切分：P0-P4 全链路接线，已在 A800 真机完成全量验证
- MPS 限额：CUDA_MPS_ACTIVE_THREAD_PERCENTAGE 实测约 3× 算力压制
- 跨租户共卡被产品策略禁止且代码强制
五、多租户 SaaS
- 租户级资源跨租户访问统一 404 拒绝（不泄露存在性）
- 租户内三级角色 admin / member / viewer，成员级 API Key
- 配额（advisory lock fail-closed）、QPS 滑动窗口限流、租户停用
- 跨租户共享仅限前端配置的共享租户组内，组外完全隔离
- 完整审计日志：目标租户独立结构化列、敏感字段脱敏、保留期可配
六、全链路可观测
- GPU 功耗采集与能耗积分（任务/节点级）、推理 Token/J 能效
- GPU 显存故障预测（实验性）：ECC / 页面退役 / 行重映射计数规则
- GPU 卡丢失识别：心跳在但卡连续不可见即告警，调度器自动拉黑
- Prometheus 指标 + 企业微信 / 钉钉 / 飞书三渠道告警
- 容错事件时间线：迁移重排、自动重建、断点续训等事件按任务维度留痕
七、平台工程与自动化
- 智能重试：任务失败按原因自动分类处置——宿主 OOM 换节点重试且内存上限自动翻倍、GPU OOM / 节点故障换节点、临时错误原地重试、永久错误（镜像不存在等）不重试直接暴露
- 存储卷：宿主机目录平台登记、任务与训练 / 推理服务按名挂载；共享卷（各节点同路径 NFS）与节点本地卷两类，本地卷任务自动约束到绑定节点
- 模型管理自动化：全集群模型文件扫描 → 一键添加 → 自动创建推理服务并生成 OpenAI 兼容 API Key，从模型发现到 API 可用全流程无需手工编排
- 运维态镜像通道：独立于任务生命周期的镜像预热通路（后台拉取 2 小时预算、分钟级进度心跳、停摆判僵死不误杀）与镜像存在性批量秒级查询，配合环境检测页做大规模集群准备度管理
- 调度窗口：推理服务按时间段自动暂停 / 缩容 / 停止，闲时成本优化
- 单向网络部署：Agent 纯出站轮询、不监听任何端口，NAT / 内网 GPU 节点无需入站通道与公网 IP 即可接入平台
八、部署形态
战略聚焦裸金属独立版：Server 单二进制 + Agent 轮询，无需 Kubernetes；多实例选主高可用（pg advisory lock），生产模式 fail-fast 校验。V3 K8s 版本已停止开发。