V2 独立版已交付

版本说明

HeteroFlow 是本站的异构算力与大模型调度产品。版本说明。本页按能力批次记录大模型调度平台的重要演进:智能路由三因子、机器注册自助上架、任务插件、多租户隔离、内容安全与响应缓存等能力批次一览;具体环境版本号以交付件与运行信息页为准。

版本说明

> 本页按能力批次记录大模型调度平台的重要演进:智能路由三因子、机器注册自助上架、任务插件、多租户隔离、内容安全与响应缓存等能力批次一览;具体环境版本号以交付件与运行信息页为准。

大模型调度线 · 近期批次

供给与调度

  • 智能路由三因子(质量 / 速度 / 成本)四策略与跨模型降级留痕(智能路由);
  • 模型目录部署方式标注(一经标注不可清回)与门户模型广场真实展示;
  • 机器注册:算力层持服务级凭证自助注册上架,健康探活失联自动禁用、恢复自动启用;
  • 任务插件:声明式适配器对接任务型上游,上传即编译校验,双层插件体系。

治理与安全

  • 多租户八维隔离与 SSO 组织同步(JIT 开户、停用检测、部门建树、角色映射白名单制,见多租户与 SSO);
  • RBAC 权限目录 + 敏感动作显式授权 + 侧栏菜单按角色收口与直达拦截(见管理员手册);
  • 密钥申请审批与调整审批双链路、防自批纪律(见密钥管理);
  • 审计哈希链防篡改与九类报表四周期(见审计与日志);
  • 内容安全护栏三阶段演进:规则引擎 → 词表管理可视化与本地测试预览 → 外挂检测服务(during_call 并行不阻塞主链、DL3 永不外发硬红线、缓存命中路径全覆盖)。

效率与扩展

  • 响应缓存两阶段:精确命中 → 语义命中(embedding 相似度阈值,仅单轮仅低敏感级);命中输入按折扣计费、全程可审计;
  • 批量 API:JSONL 上传、24 小时窗口、custom_id 逐行对账、批量折扣现算;
  • MCP 工具网关:单端点 JSON-RPC 聚合工具服务,与模型调用同源治理。

观测与运维

  • 告警中心七条预置规则、通知四通道分桶限流;「平台健康」页三区块总览(告警流 + 渠道健康墙 + 配额水位);
  • PostgreSQL 生产形态:迁移工具三步(摸底 / 执行 / 校验)与切换铁证(审计链零问题);多实例显式会话密钥防呆;
  • 双形态备份脚本与恢复演练、双副本接管编排。

平台基座 · 更早批次

  • 统一 OpenAI 兼容网关:对话、向量化、图像生成、语音合成 / 转写、实时语音、绘图与视频任务多形态收口;
  • 原生协议直连(Anthropic Messages / Gemini 原生端点),官方 SDK 免适配;
  • 多租户权限模型、成员级密钥、跨租户共享语义与租户资源校验;
  • 网关高并发写入超时优化与会话粘性;
  • 数据库备份与恢复演练体系。

异构算力调度线

同平台的 GPU 算力调度产品面:GPU 节点纳管(十类 GPU 架构自动检测)、推理服务生命周期(vLLM / SGLang / llama.cpp)、训练任务(DDP / DeepSpeed / FSDP)与集群监控体系——能力说明见产品能力说明。

演进节奏

平台按「能力批次」推进:每个批次走实现 → 双层审查 → 验收留痕 → 部署的完整闭环,文档随批次同步(本站各能力页即随交付批次更新)。获取当前环境的具体版本与变更清单,请联系平台管理员或在管理台「运行信息」页查看。