核心能力
HeteroFlow 是本站的异构算力与大模型调度产品。核心能力。六大核心能力构成大模型治理闭环:OpenAI 兼容统一接入、智能路由、配额限流、响应缓存、Guardrails 内容安全与多租户审计,治理逻辑内建于每一次调用的主链路,而非事后补丁。
核心能力
> 六大核心能力构成大模型治理闭环:OpenAI 兼容统一接入、智能路由、配额限流、响应缓存、Guardrails 内容安全与多租户审计,治理逻辑内建于每一次调用的主链路,而非事后补丁。
01 · 统一接入网关
应用侧只需对接一份 OpenAI 兼容接口,即可在云端商业模型、自建私有化推理与第三方渠道之间自由组合与切换——换模型不改一行业务代码,新模型上线即插即用。
单一网关可同时承载多类调用形态:对话补全、文本向量、实时语音、绘画与视频生成、异步任务等,全部收口在同一入口下统一纳管。
供给接入有三条通路:管理员手工接入上游渠道(启用前须通过真实探测的连通性证明,见渠道管理);算力侧持服务级凭证自助注册上架并联动健康探活(见机器注册);任务型上游经声明式插件适配纳入同一套提交 / 轮询 / 产物链路(见任务插件)。模型目录与定价见模型目录与定价。
02 · 智能调度路由
按 质量 / 速度 / 成本 三因子对候选模型实时评分,提供质量优先、速度优先、成本优先、均衡四种策略,按「密钥级 → 租户级 → 平台默认」逐级生效。
上游故障时自动跨模型降级,业务无感续跑;每一次自动降级决策均留痕可查——降级不是静默兜底,而是可回溯的调度事件,且降级链有硬边界:锚点不漂移、备选不越权。机制级说明见智能路由。
03 · 四维配额与成本管控
日调用量、QPS、并发、月额度 四维配额独立设定,在请求主链路内联判定,任一维越限即明确拒绝,杜绝「先消费后补账」。
- 拒绝不计费、幂等重试不重复扣费,选路失败回滚日计数;
- 用量与成本分解到密钥、用户、租户、模型四个维度;
- 账期自动汇总出账,预算可控、成本可归因;钱包与订阅两条资金池、扣费偏好四档、预扣多退少补。
配额机制见配额与限流,调用凭据的申请审批、场景与白名单约束见密钥管理。
04 · 全链调用审计
管理操作与推理调用 全链留痕,审计记录以哈希链逐条串联,任何事后篡改都会破坏链式校验而被发现。
- 审计哈希链支持逐条校验,为等保测评与内部审计提供可信证据链;
- 告警规则覆盖配额越限、渠道健康与安全事件,通知多通道送达、分桶限流防风暴;
- 调用的渠道去向、Token 用量、耗时与异常信息完整可溯,Request-Id 直接定位到唯一一行日志。
两本账与九类报表见审计与日志,七条预置告警规则与平台健康总览见告警中心。
05 · 内容安全与数据分级
对模型、密钥、用户实施 三级数据分级管控:被标记为敏感级的数据只能路由到本地推理渠道,杜绝敏感内容外送公有云;密钥加密存储,传输全程加密。
数据分级在网关层内联强制执行,而非依赖应用自觉或事后检查。内容护栏提供规则引擎与外挂检测器,敏感内容硬红线拦截,护栏策略经管理台可视化配置——最高等级数据永不外发、永不缓存,缓存命中回放同样过护栏。见内容安全护栏。
06 · 多租户与组织治理
原生支持 CAS / OIDC / LDAP 单点登录,登录即按企业目录自动同步组织与成员(JIT),无需手工维护账号映射。
租户之间额度、密钥、数据互不干扰;组织架构调整后权限自动跟进,一套平台服务多个业务方。八维租户隔离、部门树治理与 JIT 四步同步见多租户与 SSO,敏感操作二次验证、会话吊销与凭据生命周期见用户与会话管理。
07 · 效率与扩展
- 响应缓存:精确 + 语义两层命中,命中输入按折扣计费、配额照扣、全程可审计;不跨租户、敏感数据永不缓存(见响应缓存);
- 批量 API:JSONL 上传、窗口内执行、
custom_id逐行对账,子请求独立计费并享批量折扣(见批量 API); - MCP 工具网关:同一把密钥经单一端点发现并调用 MCP 工具服务,鉴权、配额、护栏与推理调用完全同源(见 MCP 工具网关)。
能力全景索引
| 领域 | 深读 |
|---|---|
| 上手 | 快速开始 · 用户手册 |
| 接口 | 端点总表 · 错误码总表 |
| 供给 | 渠道管理 · 模型目录与定价 · 机器注册 · 任务插件 |
| 调度 | 智能路由 · 配额与限流 · 响应缓存 |
| 治理 | 密钥管理 · 多租户与 SSO · 用户与会话管理 |
| 安全 | 内容安全护栏 · 审计与日志 · 告警中心 |
| 效率与扩展 | 批量 API · MCP 工具网关 |
| 手册 | 管理员手册 · 架构文档 |