Cloudflare 修復 GLM-5.3 跨請求 KV 快取洩露
Cloudflare 披露 Workers AI 上的 GLM-5.3 出現跨請求 KV 快取洩露,155 條回應混入了其他使用者請求的資料。問題從 8 月 27 日持續到 9 月 9 日,隻影響長度超過 681,280 token 的提示詞:上下文視窗設為 1,048,576 token,但 prefill KV 池只有 681,280 token,SGLang 遇到超長請求時沒有返回錯誤,解碼節點反而讀取了殘留的快取頁。
官方公開跨租戶洩露的完整根因:KV 池 681,280 與 1,048,576 上下文不匹配,加上 SGLang 拒絕路徑未中止;補丁已提交上游,對自建 SGLang 推理有直接參考價值。
原標題:Cross-request KV cache exposure in the GLM-5.3 Workers AI model (155 responses)
閱讀原文
| 評分 | 82 / 76(平均 79,門檻 76) |
|---|---|
| 狀態 | 精選 |
相關報導
llama.cpp 將無快取注意力的 KV 維度填充到 256,修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256,修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp 修復 OpenCL 下狀態恢復丟失 KV-cache 的問題
llama.cpp 發布建置 b11910,修復 OpenCL 後端未在 set_tensor 中寫入 KV-cache 檢視、導致狀態恢復(state restore)被丟棄的問題(PR #30471)。
Cloudflare 將 EuroLLM 與 Apertus 兩個歐洲開源模型接入 Workers AI
Cloudflare 在生日周宣布,將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI,現已開放訪問申請。EuroLLM 覆蓋 35 種語言,含全部 24 種歐盟官方語言;Apertus 由瑞士 ETH Zurich、EPFL 等開發,訓練資料超 15 萬億 token、覆蓋 1500 多種語言,權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊,首場 10 月在新加坡舉行。
@OpenAIDevs: You can choose “12h”, keep the 30-minute default, or mix both in one request: 12h for shared instru…
OpenAI 開發者帳號宣布,提示快取的保留時長現在可以選擇 12 小時,也可以繼續使用預設的 30 分鐘,或在同一次請求裡混用兩種時長:共享指令用 12 小時,較新的對話內容用 30 分鐘。官方表示,如果一整天都要反覆複用同一段上下文,反覆命中快取省下的錢可能明顯超過 12 小時快取多出的成本。
Cloudflare 用 OpenAI Daybreak 調查漏洞並生成修復建議
Cloudflare 使用 OpenAI 的 Daybreak 調查漏洞,並生成修復建議供審查,把漏洞發現與防禦處置銜接起來。其開發者同時使用 Codex 加快建置速度、提升程式碼品質。