V2 独立版已交付
响应缓存
HeteroFlow 是本站的异构算力与大模型调度产品。响应缓存。网关层响应缓存让完全相同或语义相似的重复大模型请求直接回放缓存、跳过上游调用，成本与延迟都能显著下降：精确命中与语义命中两层结构，默认全局关闭，命中部分按折扣计量并照常走配额检查。
响应缓存
> 网关层响应缓存让完全相同或语义相似的重复大模型请求直接回放缓存、跳过上游调用，成本与延迟都能显著下降：精确命中与语义命中两层结构，默认全局关闭，命中部分按折扣计量并照常走配额检查。
两层命中
| 层 | 命中条件 | 说明 |
|---|---|---|
| 精确命中（一期） | 缓存键 = 租户 + 计费模型 + 密钥 + 规范化请求哈希（剥除流式等传输层字段） | 流式与非流式共享同一条目，按请求形态回放 |
| 语义命中（二期） | 精确未命中后可选：请求文本经向量化，余弦相似度 ≥ 阈值（默认 0.92）取最高分命中 | 语义层更保守：仅单轮请求且仅公开级数据 |
计费口径（对账必读）
- 命中不免费：命中的输入 Token 按折扣表计费（默认系数 0.1，即命中输入按一折计费），输出 Token 全价；配额四维与请求数照扣——命中省的是上游成本，治理计数不豁免；
- 折扣在结算时按当前折扣表现算，调整折扣不清缓存；
- 命中的请求在调用日志带
gateway_cache_hit观测键与命中类型，语义命中额外带相似度分值——每个语义命中都可审计，这是防「假命中」的核心留痕； - 梯度计费与按次计费模型不进缓存（命中价无法表达）。
三条硬红线（不可配置）
1. 绝不跨租户、跨密钥共享：缓存键含租户与密钥双维度；
2. 敏感级（DL3）密钥永不缓存，缓存层零残留；
3. 带工具调用的请求一律不缓存。
准入面按数据等级分层：公开级默认可开、内部级默认关（租户申请制白名单）、敏感级永不。另有保守排除（多候选、实时检索参数、多模态输入等）。语义层只在单轮请求上生效——多轮对话与 Agent 流量是语义假命中的高危形态，硬排除；向量化查询有秒级上限，超时即当次未命中放行，请求永不被缓存层阻塞。
失效与故障降级
- 管理侧三档清理：全局失效 / 按模型失效 / 按租户清除；
- 内容安全护栏词表内容真变时，全局缓存代际即刻失效（旧条目不可达）；模型级开关调整只失效受影响模型；
- 缓存存储不可用或抖动时整体旁路放行——缓存故障绝不影响请求成功。