llama.cpp releases10/5 05:35AI 評分37
llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。
搜尋
依意思最接近的 30 筆
llama.cpp releases● 精選10/3 01:28AI 評分68
llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
llama.cpp releases● 精選10/5 16:55AI 評分68
llama.cpp Hexagon 的 flash_attn 改為按 KV 頭切分
llama.cpp 的 Hexagon 後端在 row-split 多核模式下把 flash_attn 從按 Q token 切分改為按 KV head 切分，讓每個核心只讀自己負責的那部分 KV cache，不再重複讀取全部 KV cache。該行為由 GGML_HEXAGON_FA_HEAD_SPLIT 控制，預設開啟；當 n_kv_heads 不能被核心數整除時回退到原 token-block 切分（如 4 核上只有 2 個 KV head 的 Gemma-4）。
llama.cpp releases10/5 12:46AI 評分36
llama.cpp b11414 修復 Vulkan 後端 flash attention 與 soft_max 複用問…
llama.cpp 發布建置 b11414，本版列出的程式碼改動是 Vulkan 後端修復 prealloc_y 在 flash attention 與 soft_max 之間複用時殘留舊資料的問題（PR #29591），提交標註 Assisted-by: Claude。
llama.cpp releases10/5 15:50AI 評分42
llama.cpp 發布 b11424，修復 Vulkan Flash Attention 共享記憶體越界寫
llama.cpp 發布 b11424 建置版本，修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題（#29988）。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包，涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端，並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。
r/LocalLLaMA top of the day10/2 18:47AI 評分68
Percepta 發布 Spotlight 架構，記憶可無限增長
Percepta 公布新架構 Spotlight，用可讀寫記憶取代注意力機制，宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元，稀疏度可任意調節，不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離，模型權重不隨記憶增長而改變，可自行決定載入與覆寫，從而無需重訓練即可獲得新能力。
llama.cpp releases10/5 09:37AI 評分59
llama.cpp Vulkan 後端加入量化 K/V 稀疏 Flash Attention
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
Cloudflare blog (AI)● 精選10/1 14:04AI 評分68
Cloudflare 將 EuroLLM 與 Apertus 兩個歐洲開源模型接入 Workers AI
Cloudflare 在生日周宣布，將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI，現已開放訪問申請。EuroLLM 覆蓋 35 種語言，含全部 24 種歐盟官方語言；Apertus 由瑞士 ETH Zurich、EPFL 等開發，訓練資料超 15 萬億 token、覆蓋 1500 多種語言，權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊，首場 10 月在新加坡舉行。
Cloudflare blog (AI)● 精選10/1 16:34AI 評分75
Cloudflare 開源決策模型 Clef，並推出 RL 微調平台
Cloudflare 發布兩個自研決策模型 Clef 與 Clef-flash，託管於 Workers AI，並以 Apache 2.0 許可在 Hugging Face 開源，可本地執行。Clef 在 Jev Decision Index 上排名第一，具備視覺編碼器與 64k 上下文視窗，中位延遲 209.3ms，快於 Jev 的 524.1ms。同時推出強化學習微調產品，供使用者按自身場景微調 Clef。
r/LocalLLaMA top of the day10/3 07:49AI 評分68
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
Hacker News front page10/3 10:13AI 評分58
Google 取消 Gemini Flash 與 Pro 模型免費使用
Google 將停止 Gemini Flash 和 Pro 模型的免費使用，使用者需付費訂閱才能繼續使用。此舉在 r/GeminiAI 社群引發大量討論，使用者對 Flash 被納入付費範圍尤為不滿，認為 Flash-Lite 能力不足。部分使用者表示將轉向 ChatGPT、Claude 或 DeepSeek 等替代方案。
Ollama releases● 精選10/2 19:28AI 評分72
Ollama v0.35.1 支援 Cloudflare 決策模型 Clef
Ollama 發布 v0.35.1，通過 /v1/systemone 介面支援 Cloudflare 新開源的決策模型 Clef（27B）與 Clef Flash（9B），兩者均為多模態，請求可在文字 state 之外附帶圖片，所有問題共享該狀態並聯合打分。同一版本把聯網搜尋上限從每次回應 3 次提高到 10 次，Modelfile 新增 CAPABILITY 宣告，並更新了 llama.cpp 與 MLX 引擎。
量子位● 精選10/5 05:42AI 評分86
Hinton、Bengio 等 22 位作者發首篇 RSI 論文，討論智慧爆炸
Hinton、Bengio 等 22 位作者聯合發表首篇 RSI（遞迴自我改進）論文《What if automating AI R&D triggers an intelligence explosion?》。論文引用 Anthropic 內部資料：AI 生成獲批程式碼佔比從 2025 年 1 月的低個位數升至 2026 年 5 月的超 80%，Claude 在高層監督下自主完成的 AI 研發工作比例從 2026 年 3 月的約 1% 升到 8 月的 26%。
r/LocalLLaMA top of the day10/3 07:18AI 評分70
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
TechCrunch AI● 精選10/5 20:33AI 評分86
Reflection 發布開源權重模型 Beam，對標中國開源模型
美國初創公司 Reflection AI 發布首個前沿開源權重模型 Beam，稱其在高階推理基準上以更低推理成本對標中國領先開源模型。Beam 是純文字混合專家模型，總引數 5010 億、啟用 230 億，預訓練用了 23.8 萬億 token，上下文視窗 100 萬 token；對比 Z.ai 的 GLM-5.2 總引數約 7440 億、啟用 400 億。
Cloudflare blog (AI)10/2 14:28AI 評分64
Cloudflare 在 AI Gateway 上線 Web Search API
Cloudflare 宣布與 Ceramic.ai、Exa、Linkup 合作，通過 AI Gateway 提供 Web Search API，讓 agent 用搜尋查詢替代猜測 URL 抓取網頁。該 API 支援 AI Gateway 積分計費、日誌觀測、BYOK，並按合作方原價提供、不加價，同時提供 REST 介面與 Workers 繫結。合作方爬蟲須符合 Cloudflare 的 Verified bots 標準，遵守 robots.txt 並標註內容來源。
Hacker News front page10/2 22:25AI 評分71
Ai2 開源 AstaBrief 8B 科學報告生成模型
Ai2 於 2026 年 10 月 2 日開源 AstaBrief 8B，一個把研究問題與檢索文獻片段轉成帶引用報告的模型，基於 Qwen3-8B 訓練，採用 SFT 加 DPO 而非強化學習。它已作為 Asta 的 Fast 模式上線，與 Claude 驅動的 Thinking 模式並列，整條流水線平均每份報告 51.1 秒，比 Thinking 模式的 178.5 秒快約 3.5 倍。
Hacker News front page10/4 13:51AI 評分62
Strata 讓 125B 的 Qwen3.8-Flash-Next 在消費級顯示卡上執行
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next，支援聊天、寫程式碼、讀圖和接入 coding agent，資料不出本機。官方實測 RTX 5070（12GB）在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s；RTX 3090（24GB）預計可達 100-140 tokens/s。
Hugging Face blog● 精選10/2 16:19AI 評分70
Ai2 開源 AstaBrief 8B 科學報告生成模型
Ai2 開源了 AstaBrief 8B，一個把研究問題與檢索文獻片段轉成帶引用報告的模型，基於 Qwen3-8B 訓練，已作為 Asta 的 Fast 模式上線。官方稱 Fast 模式平均 51.1 秒生成一份報告，比 Claude 驅動的 Thinking 模式 178.5 秒快約 3.5 倍。模型權重、訓練資料與範例工作流一併開放，機構可在自有基礎設施上本地生成報告。
NVIDIA blog● 精選10/2 00:44AI 評分85
OpenAI 上線 GPT-6 Astra Ultrafast，基於 NVIDIA Blackwell
GPT-6 Astra Ultrafast 已在 OpenAI API 上線，並向符合條件的 ChatGPT Work 與 Codex 使用者開放，執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍，可縮短 coding agent 的編輯—測試—除錯迴圈，並減少工具呼叫之間的等待。開發者可通過 API 使用，訪問方式、價格與實現細節見 Ultrafast 指南。
r/LocalLLaMA top of the day10/3 19:24AI 評分42
專用推理引擎興起，放棄通用性換極致效能
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
Anthropic News● 精選10/2 01:00AI 評分62
Anthropic 投 1 億美元建學院，2027 年底培訓萬名工程師
Anthropic 於 10 月 2 日推出 Claude Frontier Academy，投入 1 億美元，計劃到 2027 年底培訓 1 萬名 Frontier Deployed Engineer（FDE）。首批學員來自埃森哲、貝恩、凱捷、澳洲聯邦銀行、德勤、麥肯錫、摩根士丹利、諾和諾德等企業，在舊金山、紐約和倫敦開班。專案採用提名制，先參加數天線下培訓與模擬企業部署考核，通過後進入 12 周駐留期，在本組織內主導真實 Claude 用例，結業再考核，首批 FDE 認證預計 2027 年初頒發。
機器之心10/4 12:31AI 評分50
OpenAI 預告 Astra 6.1，主打刪減屎山程式碼
OpenAI 產品負責人 Tibo Sottiaux 發帖預告未來模型會更擅長刪除和簡化程式碼，並在評論中確認 Astra 6.1「coming soon」。負責 coding post-training 的研究員 Rajan Agarwal 轉發該帖，並公開徵集使用者遇到的 sloppy code 與程式碼品質問題。《華爾街日報》此前報導，Astra 6.1 原計劃 10 月發布，因內部安全測試中在權限邊界上表現不穩而被臨時叫停。
Google AI blog● 精選10/2 16:00AI 評分85
Google 發布 Gemini 4 Argon 等 9 月 AI 更新
Google 在 9 月發布新一代前沿模型 Gemini 4 Argon，具備先進推理能力與 100 萬 token 輸出上限，目前通過 Fairwind Program 向受信任的網路安全防禦方分階段開放。
llama.cpp releases10/3 12:28AI 評分42
llama.cpp 最佳化 lightning indexer 視訊記憶體與多後端支援
llama.cpp 合併多項改動，將 indexer 分數視訊記憶體佔用減半：原先同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，現改為逐頭計算並原地累加為單個 [n_pool, n_tokens] 分數。同時 CUDA 支援 4 頭、Metal 以函式常量讀取頭數、Vulkan 按 64 鍵×8 token 分塊並改用 fp16 點積，indexer 改為呼叫 ggml_lightning_indexer 且鍵只讀一次。
r/ClaudeAI top of the day10/3 16:35AI 評分63
Anthropic 投 1 億美元培訓萬名工程師
Anthropic 宣布投入 1 億美元，通過 Claude Frontier Academy 培養 10000 名 Frontier Deployed Engineers，目標在 2027 年底前完成。首批學員來自埃森哲、貝恩、凱捷、澳大利亞聯邦銀行、德勤、麥肯錫、摩根士丹利和諾和諾德等企業。按人數計算，人均培訓投入約 1 萬美元。
TechCrunch AI10/5 19:54AI 評分66
Instinct 將 AI agent 帶入群聊，好友無需註冊帳號
估值 100 億美元的 Instinct 把 AI agent 帶進群聊：使用者可將其加入與朋友的聊天，用於一起規劃旅行、搶門票、安排拼車等，好友沒有註冊 Instinct 帳號也能一起用。該功能先向 early access 使用者開放，之後擴充套件到全部使用者，使用者可讓 agent 把自己加入試用名單。Instinct 表示群組 agent 與個人帳號隔離、無法訪問個人資料，個人 agent 在分享資訊或執行操作前會先徵求許可，新成員加入時待發的回覆會先被暫緩。
Hacker News front page10/3 20:33AI 評分65
Cloudflare 開放 Artifacts 公測並舉辦 Git 平台競賽
Cloudflare 宣布 Artifacts 版本化檔案系統進入開放公測，並舉辦競賽邀請開發者用 Workers 和 Artifacts 建置面向 agent 的下一代 Git 平台。Artifacts 支援程式化建立與 fork 倉庫、儲存程式碼和 agent 上下文，新增將倉庫部署到 Workers、通過繫結在 Worker 中管理倉庫、訂閱 push 等事件觸發 CI 或程式碼審查、選擇美國或歐盟資料轄區以及檢視倉庫指標等能力。
Hacker News front page● 精選10/5 13:56AI 評分80
Altman 稱應接受 AI 壞處換取好處，主張輕監管
OpenAI CEO Sam Altman 在 Politico 播客採訪中表示，世界應接受 AI 帶來的一些壞事，以換取技術的好處，並主張輕觸式監管。他提到的例子包括駭客攻擊、詐騙等，並稱不會接受「零重大駭客攻擊、零濫用」這樣的交易。此番言論引發佛州州長 Ron DeSantis 與紐約大學教授 Gary Marcus 批評；
r/ClaudeAI top of the day10/3 20:08AI 評分42
創作者用 Claude 加 Magnific 完成 AI 動畫短片
創作者 Marcello Costa 發布 AI 動畫短片 Monkey Business，整個流程幾乎都在 Claude 內完成。他通過 Seedance 2.5 skill 把自然語言提示轉成 Magnific 內 Seedance 2.5 工具的詳細視覺提示，99% 的過程發生在 Claude 中。首個提示設定專案規則後，僅用專案內術語即可協作，從開始到完成約 50 天，期間仍需大量迭代和後期製作。