配额与限流
HeteroFlow 是本站的异构算力与大模型调度产品。配额与限流。大模型调用的配额与限流体系:月度额度、日调用次数、QPS、并发四个维度,可按密钥、模型、终端用户、部门四类主体独立配置;额度是治理闸门、独立于钱包余额运行,超限熔断并返回明确的 429 错误码。
配额与限流
> 大模型调用的配额与限流体系:月度额度、日调用次数、QPS、并发四个维度,可按密钥、模型、终端用户、部门四类主体独立配置;额度是治理闸门、独立于钱包余额运行,超限熔断并返回明确的 429 错误码。
四维限额
| 维度 | 含义 | 超限表现 |
|---|---|---|
| 月度额度 | 本月 Token 量或金额上限(计量方式创建后锁定) | 429 monthly_quota_exceeded,本月熔断 |
| 日调用次数 | 当日最多调用次数,次日重置 | 429 daily_request_limit_exceeded |
| QPS | 每秒最多发起次数 | 429 rate_limit_exceeded(注明「调用频率」) |
| 并发 | 同时处理中的请求上限 | 429 rate_limit_exceeded(注明「并发」) |
四维互相独立,未配置的维度直通。三种 429 的分辨与处置见错误码总表。
主体维度(对谁生效)
| 主体 | 语义 |
|---|---|
| 密钥 | 对单把 API 密钥的全部调用生效——最常用的粒度 |
| 模型 | 对某租户内全部密钥调用该模型的总量生效——保护高价模型 |
| 终端用户 | 按终端用户标识归集(随请求头传递),适合「同一把平台密钥后面有众多最终用户」的场景 |
| 部门 | 按部门归集月度额度——预算制组织的口径 |
同一主体重复创建会被拒(409);由审批单产出的托管配置不可直接修改,调整须再走审批——保证「配额从哪里来」始终有迹可循。
检查链与「拒绝不消耗额度」
请求在模型与渠道解析完成后、真正转发前依序检查:读配置(读取失败宁可拒绝也不放行,fail-closed)→ 日调用与 QPS → 占并发 → 月额度(先密钥维度后模型维度)→ 终端用户维度复查。
两条对开发者最重要的语义承诺:
1. 明确拒绝不计数:429 / 403 / 401 在判定阶段拦截,不落任何计数、不扣任何额度——不要因为「怕烧配额」而不敢重试(重试仍应带退避);
2. 选路失败回滚日计数:平台没有可用渠道、最终 503 model_not_found 的请求,日调用计数回滚——没真正转发出去的请求不占每日次数。
覆盖面:对话、补全、嵌入、图像、语音、绘图、视频、批量与实时语音连接全链路都挂检查;任务查询类请求(查进度、取结果)不计数不计费。
价格与计费
费用入口在门户「钱包」页,四块:余额统计、在线充值(预设或自定义金额,支持多种支付方式)、兑换码、订阅与扣费偏好。
订阅是预购的额度包(标明价格、包含额度、有效期与重置周期),与钱包余额构成两条资金池。扣费偏好决定一次调用先扣哪边:
| 偏好 | 顺序 |
|---|---|
| 优先订阅(默认) | 先扣订阅;不足时按套餐规则回退钱包 |
| 优先钱包 | 先扣钱包;不足回退订阅 |
| 仅用订阅 / 仅用钱包 | 无回退,资金不足直接 403 拒绝 |
预扣机制:流式长请求会先预扣一块额度,结束后按实际用量多退少补——短时间内看到余额先降后回升属正常,不是多扣了。
额度不足的表现:403 拒绝、不进入转发、不产生计费。月度额度用到 80% 会触发提示级告警,便于提前申请提额。