智能路由
HeteroFlow 是本站的异构算力与大模型调度产品。智能路由。智能路由让客户端把 model 参数填成 auto：网关在该密钥当前有权调用的模型里按质量、速度、成本三因子评分自动选型，业务零改动接入；主模型渠道重试耗尽后按降级链换备选模型继续服务。
智能路由
> 智能路由让客户端把 model 参数填成 auto：网关在该密钥当前有权调用的模型里按质量、速度、成本三因子评分自动选型，业务零改动接入；主模型渠道重试耗尽后按降级链换备选模型继续服务。
策略与评分
评分引擎对候选集内每个模型按三因子打分，四档策略只是权重不同：
| 因子 | 口径 |
|---|---|
| 质量 | 0.6 × 人工质量分（1-100，管理员维护，缺省 50）+ 0.4 × 近 7 日成功率（无样本按 50，不惩罚新模型） |
| 速度 | 近 7 日成功请求耗时的 P50 |
| 成本 | 模型价格基数，越小越优（按次价直接用；倍率模型按典型负载近似） |
| 策略 | 质量 | 速度 | 成本 | 适用 |
|---|---|---|---|---|
| 均衡（默认） | 1/3 | 1/3 | 1/3 | 无明确倾向的稳妥选择 |
| 质量优先 | 0.6 | 0.2 | 0.2 | 面向客户、质量敏感 |
| 速度优先 | 0.2 | 0.6 | 0.2 | 实时对话、延迟敏感 |
| 成本优先 | 0.2 | 0.2 | 0.6 | 离线批处理、成本敏感 |
排序是确定性的：总分相同依次比质量、成本、速度、模型名——同样的数据永远选出同样的模型，不存在「同样的请求两次选型不同」的不可解释行为。
策略三层解析
策略配置按三层取第一层命中：
| 层 | 配置位置 | 语义 |
|---|---|---|
| 密钥覆盖 | API 密钥编辑抽屉的「路由策略」区 | 单把密钥的例外（可为某应用单独走成本优先） |
| 租户默认 | 智能路由页为本租户统一设置 | 本租户全部密钥的兜底 |
| 平台默认 | 内置均衡 + 允许降级 | 什么都没配时 |
每次决策用的是哪一层，随调用日志留痕（source 字段标 token / tenant / default）——用户问「为什么选了它」，按请求 ID 打开日志详情可以逐项复盘全部候选的三因子评分。
候选集：先过滤，后评分
auto 不是「全目录里挑最好的」，而是「你确实能调的里面挑最合适的」。候选集 = 显式候选清单（可配置，留空 = 全部）∩ 请求分组下有可用渠道的模型 ∩ 密钥模型白名单 ∩ 角色与数据等级可达的模型：
- 分级红线原样执行：数据等级不够的模型进不了候选——敏感级流量只会进入本地化部署的供给，auto 与降级都不破防线；
- 空候选明确报错：过滤后一无所剩时返回 OpenAI 兼容 404
model_not_found，错误信息说明 auto 无可用候选——选不出来就明说，绝不乱选； - 单次决策最多评估 64 个候选。
跨模型降级（降级链）
管理员可为每个主模型配置一条有序备选链（如 旗舰模型 → 轻量模型 → 兜底模型）。主模型所有渠道重试耗尽后，请求按链切换到下一个备选。三条边界：
1. 锚点不漂移：链以请求的初始模型为锚。初始模型 M 的链是 [A, B]，A 也失败后仍按原链推进到 B，不会改成从 A 的链继续；
2. 备选不越权：每个备选都要重新过当前身份的分组、白名单、角色与数据等级复核——降级不会悄悄把请求带到无权或等级不够的模型上；
3. 不降级的情形：实时语音连接不降级；响应已开始写出不降级；请求参数类错误（本地即拒）不降级。
降级发生时调用日志留痕 degrade_from（从哪个模型降到哪个、完整链、原因），计费与日志按实际执行的模型结算。
管理面
智能路由页四个标签页：策略（权重可视化 + 租户默认策略 + 密钥覆盖清单）、模型质量分（人工分维护）、降级链（有序备选，不得含主模型自身）、评分预览——配置策略前可先按任一策略查看全部启用模型的当前评分表，不用真发请求就能看效果。
使用要点：统计因子（成功率 / P50）来自近 7 日真实调用流水，新模型初期以人工分为主，跑出流量后运行数据逐步主导；质量分与候选清单改动即时生效于下一次决策。