V2 独立版已交付

配额与限流

HeteroFlow 是本站的异构算力与大模型调度产品。配额与限流。大模型调用的配额与限流体系:月度额度、日调用次数、QPS、并发四个维度,可按密钥、模型、终端用户、部门四类主体独立配置;额度是治理闸门、独立于钱包余额运行,超限熔断并返回明确的 429 错误码。

配额与限流

> 大模型调用的配额与限流体系:月度额度、日调用次数、QPS、并发四个维度,可按密钥、模型、终端用户、部门四类主体独立配置;额度是治理闸门、独立于钱包余额运行,超限熔断并返回明确的 429 错误码。

四维限额

维度含义超限表现
月度额度本月 Token 量或金额上限(计量方式创建后锁定)429 monthly_quota_exceeded,本月熔断
日调用次数当日最多调用次数,次日重置429 daily_request_limit_exceeded
QPS每秒最多发起次数429 rate_limit_exceeded(注明「调用频率」)
并发同时处理中的请求上限429 rate_limit_exceeded(注明「并发」)

四维互相独立,未配置的维度直通。三种 429 的分辨与处置见错误码总表。

主体维度(对谁生效)

主体语义
密钥对单把 API 密钥的全部调用生效——最常用的粒度
模型对某租户内全部密钥调用该模型的总量生效——保护高价模型
终端用户按终端用户标识归集(随请求头传递),适合「同一把平台密钥后面有众多最终用户」的场景
部门按部门归集月度额度——预算制组织的口径

同一主体重复创建会被拒(409);由审批单产出的托管配置不可直接修改,调整须再走审批——保证「配额从哪里来」始终有迹可循。

检查链与「拒绝不消耗额度」

请求在模型与渠道解析完成后、真正转发前依序检查:读配置(读取失败宁可拒绝也不放行,fail-closed)→ 日调用与 QPS → 占并发 → 月额度(先密钥维度后模型维度)→ 终端用户维度复查。

两条对开发者最重要的语义承诺:

1. 明确拒绝不计数:429 / 403 / 401 在判定阶段拦截,不落任何计数、不扣任何额度——不要因为「怕烧配额」而不敢重试(重试仍应带退避);

2. 选路失败回滚日计数:平台没有可用渠道、最终 503 model_not_found 的请求,日调用计数回滚——没真正转发出去的请求不占每日次数。

覆盖面:对话、补全、嵌入、图像、语音、绘图、视频、批量与实时语音连接全链路都挂检查;任务查询类请求(查进度、取结果)不计数不计费。

价格与计费

费用入口在门户「钱包」页,四块:余额统计、在线充值(预设或自定义金额,支持多种支付方式)、兑换码、订阅与扣费偏好。

订阅是预购的额度包(标明价格、包含额度、有效期与重置周期),与钱包余额构成两条资金池。扣费偏好决定一次调用先扣哪边:

偏好顺序
优先订阅(默认)先扣订阅;不足时按套餐规则回退钱包
优先钱包先扣钱包;不足回退订阅
仅用订阅 / 仅用钱包无回退,资金不足直接 403 拒绝

预扣机制:流式长请求会先预扣一块额度,结束后按实际用量多退少补——短时间内看到余额先降后回升属正常,不是多扣了。

额度不足的表现:403 拒绝、不进入转发、不产生计费。月度额度用到 80% 会触发提示级告警,便于提前申请提额。

相关阅读