依意思最接近的 30 筆
一篇觀點文章主張，LLM 讓寫程式碼不再耗時，瓶頸轉為編譯重啟的反饋迴圈，基於映象的 Common Lisp 因此成為最佳語言。作者稱 Common Lisp 可即時替換函式而無需重啟，出錯時進入保留完整棧與變數的偵錯程式而非崩潰，LLM 可據此修復並繼續執行。他稱自己用 Common Lisp 寫的應用比 Python 版本短約 6 到 7 倍，token 更少；代價是 Quicklisp 僅數千個專案，標準自 1994 年未更新。
llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；
AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理，並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果，而 LLM 的思維鏈仍只是預測下一個 token，缺少可檢查的認知狀態、知識與推理的分離，且常事後編造解釋。Yann LeCun 表示讚賞，認為真正推理必須涉及搜尋。
llama.cpp 作者 Georgi Gerganov（@ggerganov）稱，llama.cpp 出現在了 10 月 7 日 Windows 活動的主舞臺上。他表示軟體與硬體棧終於走到一起，社群過去多年的努力得到體現，並期待更多使用者擁抱本地 AI。推文未說明該活動的具體內容，也未提及 llama.cpp 在其中的展示形式。
LiquidAI 發布 LFM2.5-Encoder 系列，含 250M 與 350M 兩個版本，基於 LFM2 架構的雙向掩碼語言模型，支援 15 種語言、8k 上下文，可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT，CPU 長上下文有優勢，並可在瀏覽器 WebGPU 上執行；GGUF 權重已上傳 Hugging Face，llama.cpp 已提交對應支援 PR。
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
llama.cpp 發布 b11396 版本，主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置（#29959）。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援，由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face，可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行，無需等待社群自行轉換。
llama.cpp 發布 b11392 版本，主要變更是 CI 設定預設權限（#29945）。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端；
llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。
llama.cpp 發布 b11471 建置，主要變更是向詞表加入 Plamo 的 FIM（fill-in-the-middle）tokens，服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。
LLM 從零將 TypeScript 編譯器移植為 Rust 版 tsc-rs 併發布，Claude Opus 5.5 用兩週、約 24,047 美元 API 費用完成；此前用 OpenAI 的 GPT-5.6 Sol 與 GPT 6 Astra 花掉逾 40 萬美元仍未突破約 84% 相容度。
llama.cpp 合併 PR #29831，為 clef 決策模型加入初始支援，目前僅限純文字輸入。該改動同時更新了 gguf-py 常量並清理了靜態圖相關程式碼，隨附的建置產物覆蓋 macOS、Linux、Windows、Android 與 openEuler 等多個平台。
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
llama.cpp 發布 b11439 版本，把 selective expert copying 從 ggml 內部重構到使用者程式碼，並將兩個模型納入 selective expert copy 測試，測試模型選用 deepseek2，改動由 Georgi Gerganov 等人共同提交，同時修正了 ggml-backend.h 的註釋與空白。
Karpathy 認為，隨著 LLM 能力提升，人類工作將更多轉向監督與理解模型輸出，而 LLM 本身也能在這方面提供幫助。他給出的遞進式技巧包括：要求模型用航空維護文件規範 ASD-STE100 寫作、生成圖表、輸出 HTML 互動網頁，以及製作定製解釋影片，例如用 ElevenLabs API 生成 3b1b 風格影片。他強調可以要求模型產出大型、定製、用完即棄的軟體產物，如網頁應用和影片直譯器。
Simon Willison 發布 LLM 外掛 llm-mistral 0.16，新增對推理模型的支援，包括新發布的 Mistral Large 4。該外掛通過 Mistral API 提供對 Mistral 模型的訪問，屬於 LLM 外掛生態的一部分。發布日期為 2026 年 10 月 6 日。
llama.cpp 發布 b11387 版本，修復了在截斷後溫度大於 0 時 n-gram 草稿被拒絕的問題（PR #29924），由 NVIDIA 的 Pranesh Gonegandla 參與提交。
llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；
llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…
llama.cpp 發布 b11438，主要變更是 test-llama-archs 在生成模型前先初始化後端（#30034）：開啟 GGML_BACKEND_DL 時，必須先顯式載入後端才能建立模型。
一份 50 篇材料、約 1300 題的新基準（Telegraph Test，程式碼與資料已開源）顯示，只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體（cablese）撰寫壓縮記錄，輸出 token 可省 40%–49%，而下游模型讀取這些記錄的準確率不低於明文（恢復比 0.99–1.10）。GLM-5.3-Flash 自身省 48.4%，qwen3.8-27b 省 48.9%，gemma-4-31b 省 40.4%；
llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。
llama.cpp 發布 b11451 建置，主要變更是修復 OpenCL 後端在 Adreno GPU 上 xmem GEMM 的越界讀取（OOB read）問題，對應 PR #30041。
llama.cpp 發布 b11385 版本，修復了預設允許列表中失效的 LLAMA_ARG_HF_REPO_FILE 鍵（#29938）。該版本繼續為 macOS、Linux、Windows、Android 等平台提供建置，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置被標記為 DISABLED…
llama.cpp 發布 v0.6.0，作者 ggerganov 列出了這一版的主要更新：新增 Clef 支援，涵蓋文字與視覺；對 Qwen3.8-Flash-Next 提供高品質支援；Metal 後端效能大幅提升；並引入新的 llama_batch_ext API。配套官網也完成改版，地址為 llama.app。原文未給出各項改動的具體效能數字。
llama.cpp 發布 b11391 建置版本，唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置（PR #29939），由 Hugging Face 的 Adrien Gallouët 提交。
有人在 GitHub 上對本地執行的大語言模型進行「拷問」和「疼痛」實驗，引發 X 上關於 AI 倫理的激烈爭論，部分有效利他主義者和相信 LLM 有感知的人要求 GitHub 刪除該專案。爭論源於近期多篇關於 AI 意識和「模型福利」的病毒式論文與博文，Anthropic 也曾在部落格和「Claude 憲法」中提及模型福利。文章認為 LLM 並不具備意識，其基於人類文字訓練的技術沒有通向意識的合理路徑。
llama.cpp 合併 PR #27694，為 simple draft 與 MTP 推測解碼引入機率取樣：草稿端按機率取樣，目標模型用拒絕取樣驗證，並修復草稿取樣器與目標模型共用 RNG 流等問題。新增開關控制機率草稿取樣，預設仍為貪心；語法約束請求回退到 argmax，同時支援在拒絕取樣中處理語法約束。改動由 NVIDIA 工程師參與提交，隨各平台建置一同發布。