V2 独立版已交付

批量 API

HeteroFlow 是本站的异构算力与大模型调度产品。批量 API。批量 API 让离线大批量大模型任务不走逐条在线调用:按 OpenAI Batch 协议上传 JSONL 任务文件、创建批任务、窗口内逐子请求执行真值进度、完成后下载结果,适合评测回放、离线标注与内容批量生成。

批量 API

> 批量 API 让离线大批量大模型任务不走逐条在线调用:按 OpenAI Batch 协议上传 JSONL 任务文件、创建批任务、窗口内逐子请求执行真值进度、完成后下载结果,适合评测回放、离线标注与内容批量生成。

五步使用链路

步做什么端点
① 上传任务文件JSONL 文件,每行一个子请求,custom_id 自定便于对账POST /v1/files(multipart)
② 创建批任务指定 input_file_id 与执行端点POST /v1/batches
③ 跟踪进度进度按子请求计数聚合,是真值不假完成GET /v1/batches/:id
④(可选)取消仅未终态批次可取消POST /v1/batches/:id/cancel
⑤ 下载结果成功行与失败行分文件产出GET /v1/files/:id/content

上传约束

  • 单文件上限 64MB / 1 万行 / 单行 128KB;purpose 固定 batch;
  • 逐行结构校验,格式或结构坏行整批拒收并带行号——不会带着半好不坏的文件跑一半;
  • 执行端点支持对话与嵌入两类。

状态机七态

validating → in_progress → finalizing → completed / failed / cancelled / expired。完成窗口上限 24 小时:到窗口上限未完成的批次收口为 expired,已执行子请求的结果照常产出。你看到的百分比就是子请求计数的真值。

计费与配额

  • 每个子请求独立走完整的计费、配额与审计链——额度、日限、日志、月账全有,与在线调用同一套(见配额与限流);
  • 批任务可享批量折扣(平台配置,默认五折,按模型可调),折扣在子请求结算时现算——使用日志与账单里看到的就是折后金额;
  • 上传与任务管理操作本身不消耗调用次数。

对账

结果文件的 output 文件含 custom_id、状态码与响应体——拿 custom_id 回对上传文件,一行不差;失败行进 errors 文件。端点细节见端点总表。