V2 独立版已交付
开发文档
HeteroFlow 是本站的异构算力与大模型调度产品。开发文档。面向在平台上开发大模型应用与做平台扩展的开发者：OpenAI 兼容接入约定、对话补全、向量、语音、绘图视频、异步批量六种调用形态的选型指引，以及插件、任务与工具三类平台扩展面。
开发文档
> 面向在平台上开发大模型应用与做平台扩展的开发者：OpenAI 兼容接入约定、对话补全、向量、语音、绘图视频、异步批量六种调用形态的选型指引，以及插件、任务与工具三类平台扩展面。
1. 接入约定
- OpenAI 兼容为基线：任何支持自定义
base_url的 OpenAI SDK / 框架，改base_url与api_key两个参数即接入；模型名以模型广场公示为准； - 原生协议直连：Anthropic Messages（
/v1/messages）与 Gemini 原生端点按各自官方协议处理，官方 SDK 免适配层直连，调度、配额、计费链路与 OpenAI 入口一致； - 错误信封两种形态：推理接口
{"error": {"message", "type", "code"}}（code机器可读）；管理 / 治理接口业务拒绝多为 HTTP 200 +success:false+error_code——按码分支，不要解析文案（见错误码总表）； - 每个响应带
X-Oneapi-Request-Id：报障与对账的定位键； - 幂等：携带幂等键的重复请求被安全拦截（本地拒绝不达上游、不重复扣费）。
2. 调用形态选型
| 形态 | 适用 | 关键语义 |
|---|---|---|
| 同步 / 流式（SSE） | 对话、向量化、图像、语音 | 流式长请求预扣额度、结束按实际用量多退少补 |
| 实时语音（WebSocket） | 双向实时对话 | 按连接建立计一次调用；不参与跨模型降级；客户端做重连退避 |
| 异步任务（MJ 兼容端点） | 绘图、视频 | 提交计数、轮询不计数（查询走本地任务表），可放心高频轮询 |
| 批量（Batch） | 离线评测、标注、批生成 | 窗口 24 小时，custom_id 逐行对账，子请求独立计费享折扣 |
| 工具调用（MCP） | Agent 工具链 | 单端点 JSON-RPC 三步，仅 tools/call 计数 |
| 自动选型 | 不想锁死模型 | model="auto" 客户端零改动，计费落在实际选中模型 |
3. 进阶能力（开发者可见面）
- MCP 工具网关：与模型调用同一把
sk-密钥、同一套鉴权 / 配额 / 审计；工具名带{服务名}__{工具名}前缀路由，跨租户目录不泄露； - 批量 API：每个子请求独立走完整计费 / 配额 / 审计链，治理粒度与实时调用一致；批量折扣在结算时现算；
- 响应缓存：精确与语义两层命中；命中输入按折扣计费、输出全价、配额照扣，语义命中响应带相似度可审计——高频模板类请求的成本优化主力；
- 内容安全护栏：对调用方的可见面是明确错误码（拦截不计费）与仅审计模式的结果标识；缓存命中回放同样过护栏。
4. 平台扩展面
面向「往平台里接东西」的接入方：
| 扩展面 | 你做什么 | 契约要点 |
|---|---|---|
| 机器注册 | 算力层把自有模型服务自动注册为渠道 | 服务级凭证（前缀 mreg_、只存哈希）；注册幂等（同凭证同标识重复 = 更新）；健康探活 30 秒间隔、连败自动禁用恢复自动启用且只复活本链路 |
| 任务插件 | 用声明式适配器接入新的任务型上游 | JavaScript 源码上传即编译校验；上游地址白名单防服务端请求伪造；按声明口径计费并写来源审计 |
| MCP 服务注册 | 把企业内外的 MCP 工具服务聚合进网关 | 管理台「MCP 服务」页注册与工具诊断；租户侧按前缀收口目录 |
| 告警 webhook | 接收平台的告警通知 | 通知带 HMAC-SHA256 签名，可验证来源（见告警中心） |
5. 客户端工程建议
- 退避重试：429 中 QPS / 并发类超限应指数退避；月额度熔断重试无意义（等提额或下月窗口）；
- 压测先报备：大压力前联系管理员调阈，避免撞限流误判为故障；
- 网络层配置：流式场景反向代理读超时建议不小于 300 秒，并核对请求体大小限制；
- 对账：以使用日志的 CSV 导出件为准（与页面同口径）；拿
Request-Id可让管理员精确定位到唯一一行日志并查看模型映射对照与扣费来源（见用户手册）。