V2 独立版已交付
批量 API
HeteroFlow 是本站的异构算力与大模型调度产品。批量 API。批量 API 让离线大批量大模型任务不走逐条在线调用:按 OpenAI Batch 协议上传 JSONL 任务文件、创建批任务、窗口内逐子请求执行真值进度、完成后下载结果,适合评测回放、离线标注与内容批量生成。
批量 API
> 批量 API 让离线大批量大模型任务不走逐条在线调用:按 OpenAI Batch 协议上传 JSONL 任务文件、创建批任务、窗口内逐子请求执行真值进度、完成后下载结果,适合评测回放、离线标注与内容批量生成。
五步使用链路
| 步 | 做什么 | 端点 |
|---|---|---|
| ① 上传任务文件 | JSONL 文件,每行一个子请求,custom_id 自定便于对账 | POST /v1/files(multipart) |
| ② 创建批任务 | 指定 input_file_id 与执行端点 | POST /v1/batches |
| ③ 跟踪进度 | 进度按子请求计数聚合,是真值不假完成 | GET /v1/batches/:id |
| ④(可选)取消 | 仅未终态批次可取消 | POST /v1/batches/:id/cancel |
| ⑤ 下载结果 | 成功行与失败行分文件产出 | GET /v1/files/:id/content |
上传约束
- 单文件上限 64MB / 1 万行 / 单行 128KB;
purpose固定batch; - 逐行结构校验,格式或结构坏行整批拒收并带行号——不会带着半好不坏的文件跑一半;
- 执行端点支持对话与嵌入两类。
状态机七态
validating → in_progress → finalizing → completed / failed / cancelled / expired。完成窗口上限 24 小时:到窗口上限未完成的批次收口为 expired,已执行子请求的结果照常产出。你看到的百分比就是子请求计数的真值。
计费与配额
- 每个子请求独立走完整的计费、配额与审计链——额度、日限、日志、月账全有,与在线调用同一套(见配额与限流);
- 批任务可享批量折扣(平台配置,默认五折,按模型可调),折扣在子请求结算时现算——使用日志与账单里看到的就是折后金额;
- 上传与任务管理操作本身不消耗调用次数。
对账
结果文件的 output 文件含 custom_id、状态码与响应体——拿 custom_id 回对上传文件,一行不差;失败行进 errors 文件。端点细节见端点总表。