OpenRouter 上線 Batch API，批次推理半價

OpenRouter 推出 Batch API，支援 70 多個模型，批次請求按每 token 正常價格約 50%（有時更低）計費。請求會在提交後 24 小時視窗內完成，beta 兩週內完成 23 萬多個批次，中位數 7 分鐘，90% 在一小時內。支援 chat completions、responses、messages 與 embeddings。

對不需要即時返回的工作（如跑 eval 集、批次摘要、回填 embedding），可以用半價非同步跑 70 多個模型，且多數幾分鐘內就返回結果。

原標題：OpenRouter Batch API: half-price inference by bundling requests
閱讀原文