核心能力

🧠 大模型调度套件

HeteroFlow 是本站的异构算力与大模型调度产品。OpenAI 兼容接入、智能调度与企业治理三合一的统一推理网关,让企业所有模型调用共用一个入口、一套规则和一条完整审计链。

应用只需一个 OpenAI 兼容端点和一个平台密钥:鉴权、路由、限流与审计在网关层统一完成,渠道切换与模型升级对调用方透明。业务团队专注应用本身,平台团队掌握每一次调用。
02 / CAPABILITIES · 能力矩阵

六大核心能力

每一项能力都已上线运行,可在平台管理台直接配置与审计。

01
🔌

OpenAI 兼容网关

对话、补全、嵌入与实时语音端点齐备,官方 SDK 换 base_url 即可接入,存量应用零改造迁移。

02
🧭

智能路由与故障转移

按模型、优先级与渠道健康度选择上游,渠道异常自动重试与熔断,切换过程对业务无感。

03
🪙

四维配额与限流

用户、模型、渠道、并发四个维度独立限额,超额请求在入口被拒绝,成本与负载始终可预期。

04
🧾

全链路审计

每次调用的耗时、令牌数、上游标识与请求号全程留痕,按 Request-Id 直接回溯定位。

05
🛡️

内容安全护栏

敏感内容检测与拦截策略可配置,风险调用在网关层被识别与阻断,留存审计证据。

06
🏢

多租户与 SSO

租户隔离、角色权限与企业统一登录,部门之间额度独立、数据互不可见,集中治理有边界。

03 / PROTOCOLS · 协议矩阵

原生支持的协议与端点

OpenAI 兼容 已上线
/v1(chat/completions · embeddings 等)
官方 SDK 与主流框架直接兼容,替换 base_url 即可使用。
Anthropic 兼容 已上线
/v1/messages
Messages 协议原生支持,Claude 系应用无缝迁移。
Gemini 兼容 已上线
/v1beta/models/{model}:generateContent
generateContent 协议原生支持,Google 系 SDK 直连。
04 / ARCHITECTURE · 调用链架构

平台在调用链中的位置

L4 · 应用层
业务应用
在线客服Agent 编排RAG 问答办公助手
我们在这里 · WE ARE HERE
L3 · 大模型调度层
大模型调度套件
统一接入智能路由四维配额审计护栏多租户
每个请求在这里完成 鉴权 → 路由 → 限流 → 审计
L2 · 渠道层
模型渠道
外部模型 API自建推理服务多供应商渠道
L1 · 模型服务层
上游模型
对话模型嵌入模型多模态模型
05 / USE CASES · 使用场景

六类典型使用场景

每一项能力都已上线运行,可在平台管理台直接配置与审计。

01
💬

对话应用接入

在线客服、智能助手把模型调用切到统一端点,多模型按需路由,应用零改造。

对话
02
🤖

Agent 与工具编排

MCP 协议已上线,Agent 平台的模型调用统一经网关鉴权、限流与审计。

Agent
03
📚

RAG 知识问答

检索增强应用的生成与嵌入调用集中管理,知识库问答统一治理。

RAG
04
📄

批量数据处理

批量 API 已上线,文档摘要、数据标注等大批量任务异步执行、结果可查。

批量
05
⚖️

多模型评估对比

同一请求路由到不同模型,按质量、速度与成本对比选型,切换只改配置。

评估
06
🏢

内网统一出口

全公司模型调用收敛到一个入口,安全策略与审计在一处生效。

治理
06 / KEY METRICS · 数据一览

数字看板

3种
原生协议
OpenAI / Anthropic / Gemini 端点原生兼容,不同生态的 SDK 都能直连。
4维
配额治理
用户、模型、渠道、并发四维限额,超额在入口拦截。
9大
上线能力
网关、路由、配额、审计、护栏、租户、MCP、批量、缓存全部已交付。
27篇
产品文档
从快速开始到错误码总表,全链使用与运维手册齐备。
07 / GET STARTED · 接入路径

四步完成接入

从拿到账号到第一次调用,全程无需改造存量代码。

  1. 01

    登录平台

    使用企业账号登录管理台,确认身份与角色权限。

  2. 02

    创建密钥

    在密钥页生成个人或团队平台密钥,按需设置额度范围。

  3. 03

    替换 base_url

    把应用侧 SDK 的 base_url 指向平台端点,其余代码保持不变。

  4. 04

    发起调用

    请求经网关路由到上游模型,用量与日志即时可查。

08 / BEFORE / AFTER · 接入对比

接入前后:治理能力的分水岭

接入前
接入后
模型接入
每个应用直连各家上游,密钥散落、版本不一
统一 OpenAI 兼容端点,一个平台密钥全局管理
渠道管理
上游故障靠人工发现与切换,业务受影响
智能路由自动转移与熔断,调用方全程无感
成本控制
用量分散无对账,超额之后才被发现
四维配额前置拦截,用量与费用实时可查
安全合规
调用行为无审计,风险难以追溯定责
全链审计加内容护栏,按请求号直接定位
09 / COMPLIANCE · 安全合规

安全与合规

每一项能力都已上线运行,可在平台管理台直接配置与审计。

01
🛡️

内容安全护栏

敏感内容检测与拦截策略可配置,风险调用在网关层被识别与阻断。

02
🧾

全链路审计

每次调用全程留痕,按 Request-Id 直接回溯,责任可定位。

03
🔒

租户数据隔离

租户之间额度独立、数据互不可见,跨租户访问被拒绝。

04
🔑

密钥全生命周期

创建、轮转、吊销全程管理,敏感操作二次验证。

05
🪙

四维配额防护

超额请求在入口被拒绝,成本始终可控、不失控。

06
🔐

SSO 统一认证

对接企业统一登录,账号与权限集中管理,离职即失效。

10 / FAQ · 常见问题

常见问题

接入需要改动多少代码?

只需把应用侧 SDK 的 base_url 指向平台端点并替换为平台密钥,其余代码保持不变;OpenAI 兼容协议下存量应用可以零改造迁移。

支持哪些模型接入方式?

外部模型 API 与自建推理服务都可以作为渠道接入,按模型与优先级配置路由策略,渠道异常时自动转移到可用渠道。

怎么控制各部门的调用成本?

用户、模型、渠道、并发四个维度的配额独立设置,超额请求在入口被拒绝;用量与费用在管理台实时可查。

出现问题怎么快速定位?

每次调用都记录耗时、令牌数与上游渠道标识,按请求号在审计日志中直接回溯到具体环节。

数据安全如何保障?

租户之间数据严格隔离,内容安全护栏可按策略拦截敏感内容,全部调用与敏感操作留痕可审计。

渠道故障会影响业务吗?

智能路由持续检测渠道健康度,异常渠道自动熔断,请求转移到可用渠道,调用方全程无感。

NEXT STEP · 下一步

大模型调度套件,随时可以开始