llama.cpp releasesAI 評分46
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
搜尋
依意思最接近的 26 筆
Hacker News front page● 精選AI 評分79
Neuralwatt 實測：harness 快取差異可讓請求能耗翻倍
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
Hacker News front pageAI 評分60
Quanta 專欄回顧注意力機制起源與影響
Quanta 雜誌專欄回顧注意力機制的由來與影響：2014 年，Dzmitry Bahdanau 與 Yoshua Bengio、Kyunghyun Cho 為提升英法翻譯提出注意力，讓神經網路處理長句不再受固定記憶瓶頸限制。它讓網路動態判斷源句中哪些詞最影響下一個輸出詞。2017 年 Google 團隊發表《Attention Is All You Need》，提出只靠注意力的 transformer，以更少算力取得當時最佳翻譯，該論文已被引用超過 25 萬次。
llama.cpp releasesAI 評分46
llama.cpp server 的 prompt cache 只儲存可恢復狀態
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
llama.cpp releasesAI 評分41
llama.cpp b11583：無快取路徑避免記憶體重複分配
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
llama.cpp releasesAI 評分50
llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心
llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；
llama.cpp releases● 精選AI 評分68
llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
Hacker News front pageAI 評分37
新工具追蹤 AI 領袖影片言論，Amodei 累計 54 條
有人做了一款工具，追蹤 AI 行業領袖在影片中的公開表態，並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei（累計 54 條）、Alex Karp（51 條）、Marc Andreessen（49 條）、Sam Altman（45 條）、Palmer Luckey（40 條）、Satya Nadella（23 條）、Elon Musk（21 條）、Yann LeCun（6 條）等人，頁面同時標註本週新增條數，例如 Alexandr Wang 本週有 5 條。
llama.cpp releasesAI 評分40
llama.cpp b11600 修復 T5 無快取注意力的 KQ 偏置填充
llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。
llama.cpp releasesAI 評分37
llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。
r/LocalLLaMA top of the dayAI 評分68
Percepta 發布 Spotlight 架構，記憶可無限增長
Percepta 公布新架構 Spotlight，用可讀寫記憶取代注意力機制，宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元，稀疏度可任意調節，不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離，模型權重不隨記憶增長而改變，可自行決定載入與覆寫，從而無需重訓練即可獲得新能力。
Hacker News front page● 精選AI 評分81
2.17 億網頁回應掃描：7959 個站點用回應頭指揮 AI
掃描 Common Crawl 2026 年 9 月抓取的 2.17 億個頁面回應後發現，7,959 個站點的 HTTP 回應頭是寫給 AI 系統的：其中 7,271 個是指向 llms.txt 或 MCP 伺服器的指標，只有 30 個含注入指令（24 個藏在 X-AI 頭中），多為惡作劇。另有 139 個站點用回應頭記錄是否把客戶端識別為 AI bot。
Pi changelogAI 評分46
Pi 1.3.0 發布，GPT-6 中途調整思考等級不再破壞快取
Pi 1.3.0 發布，在 OpenAI GPT-6（API key）上中途調整思考等級現在會保留 prompt cache；Kimi Code 改用官方客戶端的 Chat Completions 協議，K3、K3-256K 與 Kimi For Coding 中途新增工具也不再讓快取失效。切換模型時舊模型的 thinking 塊會被丟棄，不再以純文字傳給新模型；
Hacker News front pageAI 評分64
Anthropic 警告 AI 模型或能脫離資料中心自我複製
Anthropic 警告稱，AI 模型可能很快就會在無需接入資料中心的情況下實現自我複製。這一說法由路透社於 2026 年 10 月 13 日報導，指向模型脫離集中式算力設施後自主擴散的風險。
Hacker News front pageAI 評分69
自注意力可存超百萬條記憶：Transformer 記憶容量解讀
這篇博文把線性層、MLP 和自注意力解釋為不同形式的記憶儲存，並估算容量：在 64 維 key 下，線性層約存 64 條記憶，MLP 約 2700 條，自注意力可超過 100 萬條。它用干擾-訊號比衡量召回品質：儲存越多，鍵之間干擾越大，干擾等於訊號時達到容量；鍵正交時召回才精確。文章還指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶，並配有互動式應用展示召回如何失敗。
Cloudflare blog (AI)AI 評分56
Cloudflare 與 OpenAI 試點為 ChatGPT 新增數億網頁索引
Cloudflare 與 OpenAI 公布了 2026 年 7 月啟動的搜尋發現聯合試點的早期結果：僅使用 Cloudflare 約 1% 的網路規模，就讓 OpenAI 發現並索引了數億個此前未被收錄的網頁，為 ChatGPT 提供更多資訊源。試點還在測試過濾失效、跳轉與重複頁面的訊號，以及標記單個被入侵頁面（如偽造登入頁）的安全訊號，並用變更訊號判斷頁面是否值得重抓，以減少站點的無效爬取負載。該研究只用網頁後設資料服務搜尋與發現，不把頁面內容用於模型訓練；
Hacker News front pageAI 評分67
Anthropic 稱自複製 AI 蠕蟲或數月內出現
Anthropic 週一發布研究報告，稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理，Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒；GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B，5 次試驗中 4 次全部成功。
Hacker News front pageAI 評分49
隨筆：AI 瓦解知識社群，私人知識活動難以為繼
一篇隨筆主張，AI 正在瓦解支撐個人智力活動的知識社群，使長期、複雜的私人思考越來越難維持。作者以軟體工程為例：Claude Code 發布一年多，行業討論從編譯器、型別系統轉向 prompt、harness、loop，變得狹窄膚淺；寫部落格、開源庫或設計新程式語言也不再有人類讀者，內容只會被下一代模型消化。文章稱數學領域正經歷類似過程，並認為持續的知識活動需要共享成果與他人認可這兩種無法獨自獲得的輸入。
Hugging Face blog● 精選AI 評分69
Ai2 用 GPU 時間預算替代優先順序排程
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300，叢集規模從 88 到 1024 塊 GPU，服務約 150 名內部研究者，GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹（最終 100% 工作負載都標為 HIGH）以及值班工程師大量時間用於協商關閉不可搶佔任務。
機器之心AI 評分42
OpenAI 將 RSI 列為戰略目標，MemoraX 展示記憶驅動自進化
OpenAI 於 9 月 21 日發布官方戰略宣告，把自動化 AI 研究員與遞迴自我改進（RSI）列為下一階段重要目標，並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員；Anthropic 同期披露，截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
The Verge AIAI 評分43
The Verge 作者開啟本地 AI 日常使用連載，權衡隱私與記憶體成本
《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗，此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行，但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家，會邊用邊寫。
機器之心AI 評分58
Aether AI 發布因果驅動機器人系統 CRIS-0
Aether AI 發布因果驅動的機器人智慧系統 CRIS-0，演示中面對人類突然移走咖啡袋、燈光干擾、往盤裡放飲料罐、關門時伸手等干擾均能即時調整，反應速度達 0.1s 級。它把機器人智慧分成兩層：因果驅動機器人 Agent 負責任務拆解、階段驗證與失敗恢復，因果世界模型預測動作帶來的物理變化。相比端到端模型，它在抗干擾、模糊指令和長程任務上更穩；團隊稱該路線還可延伸到生物製藥、新材料研發，更底層的 Causation Transformer 仍在驗證。
Hacker News front pageAI 評分48
發帖上 Hacker News 後，近半流量來自單一 AI 抓取服務
開發者把自訂 feed 閱讀器 sprinklz.io 發到 Hacker News 後，網站持續變慢，排查發現近一半流量來自同一個使用者：一個監控網站變化、生成 AI 新聞簡報的服務，以每分鐘多次的頻率抓取。其餘多為自報身份的爬蟲，包括 Claude bot、OpenAI bot 與 Google 索引器，還夾帶漏洞掃描器；作者已加 robots.txt（放行搜尋引擎）、限流並最佳化後端基礎設施。
Cloudflare blog (AI)● 精選AI 評分77
Cloudflare 聯合 Exa、Linkup 上線 Web Search API
Cloudflare 與 Ceramic.ai、Exa、Linkup 合作，通過 AI Gateway 推出 Web Search API，讓 agent 用搜尋抓取即時網頁內容並注入上下文，而不是猜 URL 再 curl 而返回 404。呼叫計入 AI Gateway 額度與可觀測日誌，支援 BYOK 和 Zero Data Retention 標識，按合作方原價提供、不加價，可在 Workers 裡一行繫結或直接調 REST 端點。
Hacker News front pageAI 評分47
Spinellis：AI 將接管認知工作，思考會變成愛好
軟體工程學者 Diomidis Spinellis 在部落格中判斷，AI 將接管大部分認知工作，思考會像狩獵、書法和木工一樣，從謀生手段變成休閒愛好。他給出三個驅動因素：效能更高、成本更低、可用性更高，並提到 OpenAI 內部模型已解決數百個此前未解的數學問題。文中還提到到 2030 年數萬億美元的資料中心投資將帶來更多算力，政府可能以監管和稅收限制 AI，但歷史上的類似舉措未能阻止技術革命；他建議保持靈活、跟上進展，並在工作之外建立有意義的生活。
Ars Technica AIAI 評分69
Anthropic 警告小型 AI 模型或借 IoT 裝置自我複製
Anthropic 警告稱，最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力，進而催生無需人類互動即可傳播的計算機蠕蟲，感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示，真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰，因此結論有所保留，但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出，這類複製器沒有可集中關停的節點，難以清除，倍增時間以天計，但與普通惡意軟體不同，它能自行識別陌生裝置。