API Gateway 支援 SSE、WebSocket 與 gRPC 即時流式傳輸
API Gateway 現已進入公開預覽,支援 Server-Sent Events、WebSocket、gRPC 和分塊傳輸編碼的即時流式傳輸,且無需修改現有 API 規格。開發者可讓長連線雙向流與 AI 工作負載直接經由閘道器路由,同時保留統一的認證、限流與可觀測性。閘道器還新增確定性的預設主機名,簡化環境開通與基礎設施即程式碼管理。
它讓即時與 AI 流量可以在不改動 API 規格的前提下複用閘道器的認證、限流和可觀測能力,並附帶預設主機名改進,對維護長連線或 AI 服務的後端與平台開發者最直接。
原標題:Streaming comes to API Gateway: real-time and AI-ready APIs, without changing your spec
閱讀原文
| 評分 | 62 / 65(平均 63,門檻 65) |
|---|---|
| 狀態 | 未入選 |
相關報導
Cloudflare 聯合 Exa、Linkup 上線 Web Search API
Cloudflare 與 Ceramic.ai、Exa、Linkup 合作,通過 AI Gateway 推出 Web Search API,讓 agent 用搜尋抓取即時網頁內容並注入上下文,而不是猜 URL 再 curl 而返回 404。呼叫計入 AI Gateway 額度與可觀測日誌,支援 BYOK 和 Zero Data Retention 標識,按合作方原價提供、不加價,可在 Workers 裡一行繫結或直接調 REST 端點。
llama.cpp 新增即時語音轉寫 API
llama.cpp 的 server 加入 Realtime transcription API,可按 GA Realtime 規範提供基於 WebSocket 的即時語音轉寫會話,會話物件採用 type transcription,輸入格式、轉寫模型、輪次檢測與降噪放在 audio.input 下。API key 中介軟體現在會在 WebSocket 握手階段鑑權,支援 Bearer、原始 key 與 X-Api-Key,401 在升級前返回;
Apigee hybrid 1.17.0 原生支援 MCP,資料平面跑在自有叢集
Apigee hybrid 1.17.0 引入原生 Model Context Protocol(MCP)支援,MCP 資料平面可直接執行在使用者自己的 Kubernetes 叢集內,AI agent 的請求流量與工具執行全部留在自有基礎設施中,只有配置更新從控制平面拉取。開發者可把 OpenAPI 3.0.x 規範暴露為可被發現的 MCP 工具,複用既有安全策略與 API 產品,並藉助 W3C trace context 頭實現端到端請求追蹤。
Cloudflare 推出 OHTTP Gateway 付費附加服務
Cloudflare 於 2026 年秋季推出 OHTTP Gateway,作為付費附加功能供客戶在自有 zone 上啟用,目前已開放封閉測試並接受 waitlist 登記。OHTTP 是 IETF 標準,請求經 relay 與 gateway 兩個獨立運營的節點轉發,使應用後端接收 HTTP 請求時看不到使用者 IP。
OpenRouter 推出 Private Endpoints,企業自有模型部署可走同一 API
OpenRouter 上線 Private Endpoints,企業可把微調模型、專屬部署或預留容量註冊成私有端點,沿用現有 API 與 model slug 呼叫,且僅本組織可見。這是 Enterprise 計劃的附加功能,需帳戶代表開通;組織流量預設優先走私有端點,限流或不可用時按 Provider Selection 與 BYOK 回退設定溢位到公共提供商。