搜尋

依意思最接近的 29 筆

Hacker News front page10/3 10:13AI 評分58

Google 取消 Gemini Flash 與 Pro 模型免費使用

Google 將停止 Gemini Flash 和 Pro 模型的免費使用，使用者需付費訂閱才能繼續使用。此舉在 r/GeminiAI 社群引發大量討論，使用者對 Flash 被納入付費範圍尤為不滿，認為 Flash-Lite 能力不足。部分使用者表示將轉向 ChatGPT、Claude 或 DeepSeek 等替代方案。

訂閱動態產品與方案免費額度付費牆 Gemini Flash Gemini Pro

llama.cpp releases● 精選10/5 17:58AI 評分82

llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援

llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。

模型開發工具 llama.cpp GLM-5.3-Flash MTP 投機解碼 Metal 多模態

llama.cpp releases10/2 23:23AI 評分37

llama.cpp 發布 b11352 版本，最佳化 Qwen4 掩碼構造

llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。

地端推論開源 llama.cpp 本地推理開源 Qwen GLM

llama.cpp releases10/4 11:42AI 評分50

llama.cpp 新增啟用統計與 GGUF imatrix 支援

llama.cpp 合併 PR #14891，為 GGUF 格式 imatrix 引入基於啟用值的統計計算，新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數（ECS），並支援外部 NextN 草稿檔案（-md / --model-draft）。預設不啟用啟用統計以避免 imatrix 體積翻倍，統計報告佈局與排序也按 imatrix 型別更新。

地端推論開源 llama.cpp GGUF imatrix 量化 activation statistics

llama.cpp releases10/5 15:50AI 評分42

llama.cpp 發布 b11424，修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本，修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題（#29988）。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包，涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端，並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

地端推論開源 llama.cpp Vulkan Flash Attention 記憶體越界版本更新

Google AI blog● 精選10/2 16:00AI 評分85

Google 發布 Gemini 4 Argon 等 9 月 AI 更新

Google 在 9 月發布新一代前沿模型 Gemini 4 Argon，具備先進推理能力與 100 萬 token 輸出上限，目前通過 Fairwind Program 向受信任的網路安全防禦方分階段開放。

模型產品與方案 Gemini 4 Argon Gemini 3.8 Flash 網路安全語音模型科學發現

3 個來源 · 3 則報導閱讀原文

llama.cpp releases10/5 05:35AI 評分37

llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程

llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。

地端推論開源 llama.cpp CUDA FlashAttention 版本更新本地推理

r/LocalLLaMA top of the day10/3 15:16AI 評分75

兩臺 128GB Strix Halo 迷你主機各跑一個 300B 級 MoE 模型

Kyojin 引擎基於 ExLlamaV3 為 AMD Strix Halo（gfx1151、ROCm）打造，讓 GLM-5.3-Flash 與 MiMo-V2.6-Flash 兩個 300B 級 MoE 模型分別裝進單臺 128GB 迷你主機。實測在 Ryzen AI Max+ 395 上，GLM 預填充 580 tok/s、解碼 26-30 tok/s，MiMo 解碼最高 44 tok/s（程式碼場景）。

地端推論開源 MoE Strix Halo ROCm EXL3 量化

llama.cpp releases10/3 00:57AI 評分25

llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型

llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。

開發工具地端推論 llama.cpp /v1/systemone 本地推理模型轉換開源

2 個來源 · 2 則報導閱讀原文

llama.cpp releases● 精選10/3 01:28AI 評分68

llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心

llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

地端推論開源 llama.cpp Metal Flash Attention Apple Silicon 推理核心

r/LocalLLaMA top of the day10/3 05:10AI 評分40

使用者觀察新模型寫作趨向高資訊密度與生僻詞彙

有使用者在 Reddit 發帖指出，近期開源與閉源新模型（如 GLM 5.3 Flash）的寫作風格正趨向高資訊密度和擴充套件詞彙，用更少字詞表達更多內容，類似 William Gibson 的壓縮文風。作者認為這可能與追求 token 效率有關，但代價是普通讀者難以一眼讀懂，例如輸出中出現 Baudrillardian 這類需要背景知識才能理解的詞。

模型研究寫作風格資訊密度 token 效率 GLM 社群討論

llama.cpp releases10/4 01:37AI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

地端推論開源 llama.cpp WebGPU f16 本地推理版本更新

llama.cpp releases10/4 09:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

llama.cpp releases10/3 00:18AI 評分31

llama.cpp 在 32KB 共享記憶體的三星 GPU 上停用大矩陣乘分塊

llama.cpp 合併 PR #28531，在共享記憶體為 32KB 的三星 GPU 上停用 Vulkan 後端的大矩陣乘分塊（large matmul tile），以規避該硬體配置下的問題。該改動由 Claude Opus 輔助完成，並附有建置證明連結。

地端推論開源 llama.cpp Vulkan Samsung GPU 本地推理版本發布

llama.cpp releases10/4 21:07AI 評分45

llama.cpp 為 x86 tinyBLAS 加入 BF16/FP16/FP32 K 尾部向量化

llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。

地端推論開發工具 llama.cpp tinyBLAS BF16 CPU 推理 SIMD 向量化

llama.cpp releases10/5 09:19AI 評分12

llama.cpp 發布 b11407，修復 Vulkan 測試編譯錯誤

llama.cpp 發布 b11407 版本，修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。

地端推論開源 llama.cpp Vulkan 建置版本推理後端

Ollama releases● 精選10/2 19:28AI 評分72

Ollama v0.35.1 支援 Cloudflare 決策模型 Clef

Ollama 發布 v0.35.1，通過 /v1/systemone 介面支援 Cloudflare 新開源的決策模型 Clef（27B）與 Clef Flash（9B），兩者均為多模態，請求可在文字 state 之外附帶圖片，所有問題共享該狀態並聯合打分。同一版本把聯網搜尋上限從每次回應 3 次提高到 10 次，Modelfile 新增 CAPABILITY 宣告，並更新了 llama.cpp 與 MLX 引擎。

模型產品與方案 Ollama Cloudflare Clef 多模態本地推理

3 個來源 · 4 則報導閱讀原文

llama.cpp releases10/5 12:46AI 評分36

llama.cpp b11414 修復 Vulkan 後端 flash attention 與 soft_max 複用問…

llama.cpp 發布建置 b11414，本版列出的程式碼改動是 Vulkan 後端修復 prealloc_y 在 flash attention 與 soft_max 之間複用時殘留舊資料的問題（PR #29591），提交標註 Assisted-by: Claude。

地端推論開源 llama.cpp Vulkan flash attention b11414 推理

llama.cpp releases10/3 09:36AI 評分43

llama.cpp 新增 clef 決策模型純文字支援

llama.cpp 合併 PR #29831，為 clef 決策模型加入初始支援，目前僅限純文字輸入。該改動同時更新了 gguf-py 常量並清理了靜態圖相關程式碼，隨附的建置產物覆蓋 macOS、Linux、Windows、Android 與 openEuler 等多個平台。

地端推論開源 llama.cpp GGUF clef 本地推理

1 個來源 · 2 則報導閱讀原文

r/LocalLLaMA top of the day10/3 08:00AI 評分65

LiquidAI 發布 LFM2.5-Encoder 250M/350M 編碼器

LiquidAI 發布 LFM2.5-Encoder 系列，含 250M 與 350M 兩個版本，基於 LFM2 架構的雙向掩碼語言模型，支援 15 種語言、8k 上下文，可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT，CPU 長上下文有優勢，並可在瀏覽器 WebGPU 上執行；GGUF 權重已上傳 Hugging Face，llama.cpp 已提交對應支援 PR。

模型開源 LFM2.5-Encoder encoder GGUF llama.cpp on-device

llama.cpp releases● 精選10/5 16:55AI 評分70

llama.cpp Hexagon flash_attn 改按 KV head 分核，PP 最高提升 58%

llama.cpp 的 Hexagon 後端（b11430）把 flash_attn 從按 Q token 切分改為按 KV head 分核：當 n_kv_heads 能被核心數整除時，每個核心只讀自己那份 KV cache，不再重複讀全量 KV。新行為由 GGML_HEXAGON_FA_HEAD_SPLIT 控制、預設開啟；無法整除時（如 4 核跑 2 個 KV head 的 Gemma-4）回退到原 token 分塊。

地端推論開源 Hexagon NPU flash attention 矩陣乘法多核並行效能最佳化

r/LocalLLaMA top of the day10/3 07:49AI 評分68

Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s

有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。

地端推論開源 llama.cpp expert streaming 量化本地推理 RTX 5070

Hacker News front page● 精選10/5 20:16AI 評分88

Reflection 發布首個開放權重模型 Beam：501B 總引數、23B 啟用

Reflection 發布首個開放權重模型 Beam：稀疏 MoE，總引數 501B、啟用 23B，面向程式設計、推理與 agentic 負載。預訓練使用 23.8 萬億 token，RL 階段動用 10.5K 塊 NVIDIA GB300 訓練 4 周、生成超 1 億條 rollout、約 13 億個沙箱，官方稱是開放實驗室中規模最大的 RL 訓練之一。評測中其與 GLM 5.2 相當但推理算力少 3–4 倍，接近 Qwen 3.8-Max，原始能力仍落後 Kimi K3；

模型開源開源權重 MoE 程式碼智慧體強化學習推理效率

2 個來源 · 2 則報導閱讀原文

Hacker News front page10/5 13:59AI 評分66

Gitframes：給 coding agent 用的 TypeScript 影片渲染 npm 包

Gitframes 發布 Beta 版，用一個 npm 包把 Photoshop 級合成與 VFX、After Effects 式動效排版和 Blender 式 3D 場景合在一起，由 coding agent 直接寫 TypeScript 合成程式碼、檢查幀並渲染 MP4，無需安裝或授權多 GB 的桌面創意套件。

產品與方案開發工具 Gitframes WebGPU 影片渲染 coding agent TypeScript

llama.cpp releases● 精選10/3 12:54AI 評分70

llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能

ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。

地端推論開發工具 OpenVINO llama.cpp MoE Qwen3.5 推理最佳化

r/ClaudeAI top of the day10/3 16:09AI 評分45

用 Claude 迭代的 3D 畫素遊戲發布第二版

開發者用 Claude 迭代的 3D 畫素風遊戲 Willowmere 發布第二版，全部畫面由程式碼生成，不使用任何素材檔案，基於原生 HTML 和 JS，未用遊戲引擎。新版加入完整劇情（三幕加真結局）、低潮採集、制燈、月光釣魚、守望燈塔等玩法，以及鯨骨海灣場景、全套美術動畫和帶表情的 3D 渲染頭像，並修復了此前使用者反饋的問題。本次迭代主要使用 Opus 5.5、中等投入，可在瀏覽器免費試玩。

開發工具產品與方案 Claude 遊戲開發 HTML/JS 瀏覽器遊戲 Opus 5.5

X @ollama10/3 01:56AI 評分35

Ollama 上線 Clef Flash 與 Clef 兩個模型庫

Ollama 官方帳號發布 Clef Flash 與 Clef 兩個模型，均已上線 Ollama 模型庫，地址分別為 ollama.com/library/clef-flash 和 ollama.com/library/clef。使用者可通過 Ollama 直接拉取執行，但原文未披露模型引數規模、量化版本與硬體要求等細節。

模型地端推論 Ollama 模型發布本地推理開源模型

3 個來源 · 4 則報導閱讀原文

NVIDIA blog● 精選10/2 00:44AI 評分85

OpenAI 上線 GPT-6 Astra Ultrafast，基於 NVIDIA Blackwell

GPT-6 Astra Ultrafast 已在 OpenAI API 上線，並向符合條件的 ChatGPT Work 與 Codex 使用者開放，執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍，可縮短 coding agent 的編輯—測試—除錯迴圈，並減少工具呼叫之間的等待。開發者可通過 API 使用，訪問方式、價格與實現細節見 Ultrafast 指南。

訂閱動態模型產品與方案 GPT-6 Astra Ultrafast NVIDIA Blackwell 推理加速 API

llama.cpp releases10/5 08:41AI 評分42

llama.cpp 為 WebGPU 後端加入多種量化格式 MMVQ 支援

llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。

地端推論開源 llama.cpp WebGPU MMVQ 量化 MXFP4