依意思最接近的 28 筆
llama.cpp 發布 b11361，在 server 中新增 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型，並附帶模型轉換指令碼。該版本加入了共享 prompt 字首與視覺輸入支援，新增用於測試的小模型 openjev tiny，文件中明確說明不支援 date_facts。macOS Apple Silicon（arm64）建置正常，但啟用 KleidiAI 的 arm64 版本被標記為 DISABLED；
Cloudflare 在 Workers AI 上線兩款由歐洲公共機構訓練的開源模型：覆蓋全部 24 種歐盟官方語言的 EuroLLM，以及瑞士 ETH Zurich、EPFL 等打造的 Apertus，今天即可申請訪問。Apertus 用逾 15 萬億 token、1500 多種語言訓練，40% 訓練資料非英語，架構、權重、資料與方法全部公開，並按 EU AI Act 與 GDPR 處理訓練退出與個人資料。
llama.cpp 的 PR #29184（作者 am17an）提出在 CUDA 後端把 MoE 的共享專家融合進 MMVQ 運算元，為部分 MoE 架構（例如 Qwen 35B A3B）帶來推理加速。評論區給出的初步結論是 token 生成速度最多提升約 5%，屬於穩步積累而非革命性改動。該改動僅針對 CUDA 後端、且只對部分 MoE 架構生效，Metal 等其他後端不受影響。
llama.cpp 最新建置已支援 Decision 模型，新增 /v1/systemone 端點，可在本地高效、私密地做 Jev 風格推理。該端點支援多個開源模型，後續還會增加。
llama.cpp 合併 PR #29570，在 Metal 後端新增基於 tensor API 的 flash attention 核心，支援 F16 KV 快取。同一批提交還補充了 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等形狀的 tensor FA 核心，並支援 attention sinks、ALiBi 與 logit softcap。
Ollama v0.35.1 新增對 Cloudflare 開源決策模型 Clef（27B）與 Clef Flash（9B）的支援，通過 /v1/systemone 呼叫。兩者支援多模態，請求可同時傳入圖片與文字 state，所有 questions 共享該狀態並聯合打分，返回如 noul 機率 0.958 的答案。
llama.cpp 發布建置版本 b11370，CUDA 後端新增將共享專家（shared experts）融合進 MMVQ 的改動（#29184），並修復緩衝區空值檢查、把 stride_col_dst 移入融合引數。
llama.cpp 合併 PR #29831，為 clef 決策模型加入純文字推理支援，並更新 gguf-py 常量。該版本覆蓋 macOS Apple Silicon、Linux、Windows、Android 等平台，其中 Apple Silicon 的 KleidiAI 加速建置被停用。
llama.cpp 的 PR #29825 把 Qwen Flash Next 的 indexer score 視訊記憶體佔用減半，例如 131072 上下文、ub 2048 時從 3.0 GiB 降到 1.5 GiB，262144 上下文、ub 4096 時從 11.7 GiB 降到 5.6 GiB。作者稱 logits 完全一致，僅分數因 fp32 舍入有差異，pp/tg 速度不變，test-llama-archs 通過。
ggml-openvino 後端更新至 2026.4.1，新增 MoE 路由融合與 GDN 歸一化融合，並預設在 GPU 上啟用 MoE 融合。在 Arc B390 上跑 gemma-4-26B-A4B，配合 q4_asym64 重新量化，pp512 從 66.16 t/s 提升到 1608.73 t/s，困惑度基本不變。同時修復了 stateful 執行下 rank-3 軸處理導致的 MoE 崩潰，並改進裝置列舉與記憶體上報。
llama.cpp 合併 PR #29844，新增對 nimble 決策模型的支援。該版本覆蓋 macOS Apple Silicon（arm64）、Ubuntu、Windows、Android 等多平台建置，其中 macOS Apple Silicon 的 KleidiAI 加速版本被標記為 DISABLED。官方發布頁為 llama.app，建置證明見 GitHub attestations。
LiquidAI 發布 LFM2.5-Encoder，含 350M 與 230M 兩個版本，基於 LFM2 架構的雙向掩碼語言模型，支援 15 種語言、8k 上下文，可微呼叫於分類、檢索、重排與語義相似度任務。官方稱其吞吐量追平或超過 ModernBERT，CPU 長上下文更強，並可通過 WebGPU 在瀏覽器執行；GGUF 權重已發布，llama.cpp 支援 PR 已提交。
llama.cpp 合併了 qwen4exp 的 lightning indexer 最佳化，把索引器打分視訊記憶體減半：原先同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，現在每個 head 單獨計算並原地累加進一個 [n_pool, n_tokens] 分數。同時 CUDA 支援 4 heads、Metal 用函式常量傳 head 數、Vulkan 按 keys×tokens 分塊並向量化 fp16 點積。
r/LocalLLaMA 使用者分享 jev 系列分類模型（classifier）的真實用例：有人用 jev-reviewer 定位論文證據、避免引用幻覺，有人用 is-malicious 掃描 GitHub 倉庫與 PR 的惡意行為，還有人用 decider 4b 替代 Gemma 雙階段流程，把語音 RPG 延遲從 4-8 秒降到 2-3 秒。
llama.cpp 發布 b11352 版本，主要改動是最佳化 qwen4exp 的掩碼（mask）建置（#29824），並將同一改動應用到 GLM5-next。該版本繼續提供 macOS Apple Silicon（arm64）、iOS、Linux、Windows、Android 等平台建置，涵蓋 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 與 Snapdragon 後端。
llama.cpp 發布 b11349，新增 Vulkan 管線編譯問題的日誌輸出（#29794）。該版本提供 macOS/iOS、Linux、Android、Windows、openEuler 建置產物，涵蓋 Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。
llama.cpp b11345 為 Hexagon 後端新增 Q2_K 和 Q3_K 量化型別支援，對應 PR #29717，並統一了 src1_row_size 的分配；改動由 Max Krasnyansky（maxk@qti.qualcomm.com）參與提交。
llama.cpp 在 WebGPU 後端為 fill/set_rows 操作加入 f16 支援（PR #29897），併發布 b11382 版本。該版本覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 等平台，其中 macOS Apple Silicon 的 KleidiAI 建置被停用。對使用 WebGPU 推理的使用者，f16 支援可減少視訊記憶體佔用並提升相容性。
Karpathy 認為，隨著 LLM 能力提升，人的工作會更多轉向監督與理解模型輸出，而 LLM 本身也能幫忙。他推薦幾個技巧：讓模型用 ASD-STE100 受控語言寫作，或要求輸出 HTML 網頁、圖表，甚至定製講解影片，例如用 ElevenLabs API key 生成 3b1b 風格影片。這些大型、一次性軟體產物以前不值得做，現在可以按需生成。
llama.cpp 發布 b11355 版：對共享記憶體為 32KB 的三星 GPU，Vulkan 後端停用大型 matmul tile（#28531），該提交由 Claude Op 協助完成。此版本中 macOS Apple Silicon 的 KleidiAI 啟用建置（arm64, KleidiAI enabled）與 openEuler 建置標記為 DISABLED；
一批極窄用途的推理執行時正在出現，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 和 vLLM 擅長的通用性，只針對少數模型、有時甚至只針對一個硬體家族（如 Strix Halo）做最佳化。作者認為未來通用執行時負責相容性、一次性專精執行時負責最大效能將成為常態，這也有助於智慧的民主化與去中心化，並壓榨現有硬體的更多產出。
llama.cpp 合併 PR #27694，把 simple draft 與 MTP 的投機解碼改為機率取樣，目標模型用拒絕取樣驗證草稿 token。新增開關控制機率草稿取樣，預設仍為貪心；語法約束請求回退到 argmax，並支援在拒絕取樣中處理語法約束。同時修復了草稿取樣器與目標模型共用 rng 流、掩碼後分布未重歸一化等問題，並隨草稿一起截斷候選。
r/LocalLLaMA 使用者 pmarsh 發帖稱自己已接近本地推理硬體投入的中間水平，評論區隨即給出多種低成本方案：2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器可跑 qwen 3.8 flash 超 15 tok/s；雙 7900XTX 不到 2000 美元可跑 27B Q8 超 220k 上下文；CMP 170HX 視訊記憶體超頻可達 2TB/s，單流解碼約 60 tok/s。
Latent Space 最新一期播客請到 MIT 的 Alex Zhang，聊遞迴語言模型（RLM）、AI 寫 GPU kernel 與多智慧體 swarm。據他介紹，基於 RLM 的 harness 是首個接近解出 ARC-AGI-3 的方案，早於 OpenAI 的 Astra；他還談到 OpenAI 的 1 萬 agent、1300 億輸出 token、約合 4000 萬美元的問題求解實驗。
有使用者用 Strata 加 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 加 7900XTX 的慢速記憶體機器上穩定跑到 45-70t/s，編碼時偶爾更高；同樣配置下調優後的 llama.cpp 最高只有約 22.5t/s。12GB 和 16GB 顯示卡使用者反饋結果相近，DDR5 使用者則明顯更快。作者建議讓 LLM 按自己的硬體配置來設定，並提醒不要用 Q2 權重。
開發者 Wayne Workman 用 11 個月業餘時間從零訓練了專注二戰資訊的小語言模型 Peacebell，已開源權重與訓練材料，含 291M 和 148M 兩個引數版本。148M 版是為參加 HuggingFace 限制 150M 以內模型規模的榜單而做，同時發布了 WWII 主題基準 ww2bench，題目不公開以防進入訓練資料。模型可在 CPU 上執行，作者提供了定製 vLLM fork，並稱其長上下文表現較差，下一版預計 2027 年發布。
基於 ExLlamaV3 的 Kyojin 引擎在 AMD Strix Halo（gfx1151、ROCm）上讓兩個 300B 級 MoE 模型各裝進一臺 128GB 迷你主機：GLM-5.3-Flash 佔 99.7GB，3.5K 上下文預填充 580 tok/s，解碼 26 到 30 tok/s；MiMo-V2.6-Flash 佔 105GB，解碼最高 44 tok/s（程式碼場景）。
llama.cpp 合併 PR #29856，把 build_rs 中分散的 get_rows 合併為一次收集全部 n_rs 個 recurrent states，使預留空間按 n_rs 最大值計算，避免 ubatch 單元不連續時在節點數不變的情況下觸發圖重分配、進而在 GGML_SCHED_NO_REALLOC 下中止。