Neuralwatt 實測:harness 快取差異可讓請求能耗翻倍
模型雲服務商 Neuralwatt 分析一個月流量發現,同一模型下不同 agent harness 的 prompt 快取命中率差異明顯,未快取輸入佔 1.6%–11.1%,而一次快取未命中會讓請求能耗約為全快取時的兩倍,GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取,97% 時只有 3 個,prefill 工作量相差 2.7 倍。
找到 7 筆
模型雲服務商 Neuralwatt 分析一個月流量發現,同一模型下不同 agent harness 的 prompt 快取命中率差異明顯,未快取輸入佔 1.6%–11.1%,而一次快取未命中會讓請求能耗約為全快取時的兩倍,GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取,97% 時只有 3 個,prefill 工作量相差 2.7 倍。
CBC 報導稱,一座擬建資料中心每天釋放的能量相當於 23 枚廣島原子彈,其能耗規模成為關注焦點。報導摘要未披露專案的選址、運營方與供電來源等細節;在 Hacker News 上,該條目目前獲得 5 分、1 條評論。
同一個 AI 請求在得克薩斯州產生的二氧化碳是瑞典的 8.5 倍,差異來自兩地電網的碳排放強度。Berget.ai 用這組對比說明,AI 推理的碳足跡不只取決於模型和硬體,也取決於算力部署在哪裡。對關心 AI 能耗的人來說,同一請求換一個落地區域,排放可能相差近一個數量級。
DeepSeek 已將自研推理框架 DeepInfer 完整開源。該框架在其生產環境中支撐 DeepSeek-V4.1-Flash 的大規模推理服務,主打高吞吐與低延遲。官方表示,公開這套生產環境所用的推理元件是為了幫社群降低算力成本、減少能耗,讓 AI 更可負擔。推文未給出具體效能數字,硬體支援與部署方式需檢視開源倉庫。
緬因州中期選舉最後一場辯論上,一名觀眾打斷共和黨參議員 Susan Collins,稱 AI 資料中心正在破壞氣候、汙染水源,並喊出「我很害怕」;Collins 將該男子與民主黨挑戰者 Troy Jackson 掛鉤。距投票僅剩數日,高耗資源的資料中心快速擴張已成為該州最不穩定的競選議題之一。報導提到,該州今年 4 月就曾因資料中心問題引來全國關注。
聯邦法官駁回川普政府的說法,即 EPA 可以隨時撤銷《清潔空氣法》訴訟,因此針對 SpaceXAI(原 xAI)孟菲斯 Colossus 資料中心的汙染案將繼續審理。NAACP 指控該資料中心使用未經許可的燃氣輪機,要求強制其採用最佳可用汙染控制技術,並對每項違規每天最高罰款 124,426 美元。川普曾試圖介入,稱允許公民索賠鉅額罰款不符合公共利益。
Google 在智利聖地亞哥塞裡略斯規劃的 2 億美後設資料中心,按其自身估算每秒取水 169 升,一天用水量相當於當地 8 萬居民一年的飲水量。居民組織 MOSACAT 推動 2019 年 12 月公投,49% 反對、38% 支援;2020 年市鎮與社群提出申訴後,Google 於 2022 年 2 月改為完全用空調風冷。同期微軟在基利庫拉的選址也遭到反對;一座超大規模資料中心每天可耗水 100 萬至 500 萬加侖,相當於 1 萬至 5 萬人口城市的用水量。