依意思最接近的 30 筆
Llmspeed 是一個可按硬體或模型查詢本地大模型推理速度的網站，用於在購買硬體前預估實際體驗。它覆蓋 RTX 5090、RTX 3090、Mac Studio M5 Ultra 512GB、DGX Spark、Strix Halo 與純 CPU 等三十餘種配置，以及 Qwen 3.6/3.8 27B、GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 等模型，給出短提示、單裝置下的速度估計。
Karpathy 稱 LLM 能力的認知差距正在擴大，從兩群人各說各話變成尖銳的漏斗。他估算約 60 億人（75%）幾乎沒接觸過 LLM，10 至 20 億人（20%）只是偶爾用免費版聊天機器人，約 2000 萬人（0.2%）在數學與程式碼上親身使用前沿模型，過去要花數週數月的專案現在一個提示就能由 agent 完成。
llama.cpp 合併 PR，加入對 LiquidAI 的 LFM3-1.7B 文字模型與 LFM3-VL-2B 視覺語言模型的支援。改動包括為 LFM3 啟用迴圈狀態回滾、設定 LFM3 測試模型的 SWA rope base，並讓 LFM3-VL 的 depthwise 卷積核在量化時保持 F32 精度，同時補充 LFM3 的 Metal 融合基線測試。
Liquid AI 的 LFM3 系列模型已可在 Ollama 本地執行，覆蓋文字、視覺、音訊、omni 與決策模型。文字模型在 4-bit 量化下僅約 1 GB，上下文視窗 256K，官方定位是可隨處執行、並能在單張 GPU 上微調的小模型。
Ollama v0.40.12 上線 Liquid AI 的 LFM3 小模型家族，面向本地 agent、工具呼叫與結構化輸出。1.7B 的 lfm3 支援 256K token 上下文，系列另有影像版 lfm3-vl、覆蓋 18 種語言語音的 lfm3-audio 與三模態的 lfm3-omni，以及 2B 的 d1 決策模型。本次 lfm3 與 d1 2b 已支援 Apple 硬體，Linux/Windows 稍後跟進。
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；
HN 上一條提問帖討論 LLM 何時能接管軟體架構設計、不再需要人類留在設計環節。發帖者認為程式碼、數學這類有明確對錯的任務已被充分 RL，下一步就是讓 Anthropic、OpenAI 等收集好架構與壞架構的資料集做 RL；他提到 2024 年 LLM 還只是高階自動補全，如今業界已在談用 agent 搭「軟體工廠」，並判斷幾年內實際程式設計技能的需求會消失九成，產品負責人這類軟技能崗位更受青睞。帖子目前 9 分、3 條評論，屬觀點討論，沒有官方資訊。
Karpathy 認為，隨著 LLM 能力提升，人類工作將更多轉向監督與理解模型輸出，而 LLM 本身也能在這方面提供幫助。他給出的遞進式技巧包括：要求模型用航空維護文件規範 ASD-STE100 寫作、生成圖表、輸出 HTML 互動網頁，以及製作定製解釋影片，例如用 ElevenLabs API 生成 3b1b 風格影片。他強調可以要求模型產出大型、定製、用完即棄的軟體產物，如網頁應用和影片直譯器。
AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理，並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果，而 LLM 的思維鏈仍只是預測下一個 token，缺少可檢查的認知狀態、知識與推理的分離，且常事後編造解釋。Yann LeCun 表示讚賞，認為真正推理必須涉及搜尋。
llama.cpp 發布 v0.8.0，新增 LiquidAI LFM3 模型家族，包括文字 LFM3-1.7B、視覺 LFM3-VL-2B、音訊 LFM3-Audio-2B 與 LFM3-Omni-2B，並配套實驗性流式音訊輸入 API。服務端新增 /v1/realtime 端點，實現 OpenAI realtime 協議，用於即時對話與轉寫，另有 POST /tts 文字轉語音端點，推理努力等級也可通過 API 選擇。
Meta 從其 10 月 30 日生效的“精簡版”商業服務條款中刪掉了“train”（訓練）一詞，以平息批評。此前法律專家警告，該條款似乎允許 Meta 無限抓取商家主頁所連結的網站內容用於 AI 訓練，從而可能省下向新聞機構支付的數百萬美元授權費。Meta 發言人確認，條款措辭修改後並未通知使用者，這可能在政策生效前加劇困惑。
llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp 建置 b11934 最佳化了測試流程，重構 save_models 使其只建立模型而不再建立儲存時用不到的 llama_context，並用 splitmix64 加 Box-Muller 生成器替換較慢的 std::normal_distribution 抽樣。張量資料改為用 std::mt19937 預先生成一組正態抽樣池，各張量按名稱迴圈取切片，保證結果確定；每次儲存模型後還會輸出檔名、目標路徑與位元組/MB 體積。
Karpathy 稱大眾對 LLM 能力的理解差距正在擴大，已從兩撥人各說各話變成陡峭的漏斗：約 60 億人（75%）幾乎沒接觸過 LLM，10 至 20 億人（20%）只是免費版 ChatGPT 類產品的偶爾使用者，約 2000 萬人（0.2%）在數學與程式碼上專業使用前沿模型，僅約 5000 人（0.00006%）能內部訪問前沿系統。他把成因歸為三點：影響隨問題規模與時間跨度放大、能力在數字化且可驗證的領域形成鋸齒狀峰值、以及免費／付費／內部的訪問分層。
Recursive SI 的 Flint 模型在發布首日就進入 LM Studio，可直接在本地執行。它是一個 40B 的 MoE 模型，每次僅啟用 2.5B 引數，上下文視窗為 262K token，採用 Apache 2.0 許可，專門針對本地 agentic coding 場景訓練。本地執行大約需要 24GB 記憶體，官方稱其基準測試表現相當出色。
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援，由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face，可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行，無需等待社群自行轉換。
llama.cpp 發布 b11438，主要變更是 test-llama-archs 在生成模型前先初始化後端（#30034）：開啟 GGML_BACKEND_DL 時，必須先顯式載入後端才能建立模型。
Liquid AI 發布 LFM3 家族，首發六個約 2B 引數的多模態模型，均源自同一 LFM3-1.7B-Base 骨幹，覆蓋文字、視覺、音訊、omni 以及兩個決策模型。基座以 22T tokens 預訓練，最後 3.5T tokens 的中期訓練將上下文擴至 256K。架構由門控短卷積、256 token 滑窗注意力與全域性注意力三混合而成，8K 上下文下比 LFM2 快約 25%。
llama.cpp 發布 b11823 建置，主要改動是最佳化 GLM-5 的輸入處理，避免 sel_mask_2d 輸入，cont 路徑也不再新建 pool_flat 輸入。
llama.cpp 已合併對 LiquidAI LFM3-Audio-2B 與 LFM3-Omni-2B 兩個音訊模型的支援。轉換指令碼改為按模型自帶的 config.json 讀取，並按 model_type 自動識別；LFM3-Audio 的 depthformer 關閉 flash attention，編碼器卷積與 codec 保持不量化。
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
vLLM 0.31 新增服務端開關，啟用約束解碼後工具呼叫的 schema 準確率可達 100%。此前用 vLLM 0.28 部署 Kimi K2.6 時，只有 92% 的工具呼叫符合預期結構，相當於每 25 次就有 2 次失敗。該特性對新版 Kimi 與 DeepSeek 模型可保證輸出遵循 schema，主要影響依賴多輪工具呼叫的 agent 負載。
llama.cpp 建置 b11945 加入 LiquidAI d1-2B 與 d1-omni-2B 兩個模型的推理支援，其中 d1-omni-2B 為多模態版本。轉換指令碼同步調整：d1 的 GGUF 不再包含語音任務模板，另有一處 no_batching 的小重構。
Rich Hickey 發表短文《'AI' Is Not a Tool》，主張 LLM 不是可被揮舞的工具，而是自動化：它自行行動，使用者只發出請求，沒有持續控制，也沒有感官反饋。他以用 LLM 讀論文為例，指出是它讀了而不是你讀了，讀者因此錯過學習寫作、組織論證、發現細節乃至學習思考的機會。他強調工具不會失控或叛變，而自動化有著與工具不同、忽視不得的固有屬性。
llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp 發布新建置 b11681，為 MELLUM 架構加入精度處理（PR #30584）。該版本提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，涵蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 後端。
Ollama 模型庫新增 LFM2.5 24B，使用者可用一條命令 ollama run lfm2.5:24b 拉取並在本地執行。該模型引數規模為 24B，官方同時給出了對應的模型庫頁面連結，公告中未披露更多細節。
llama.cpp 建置 b11709 加入對 Aleph-Alpha 的 Kolibri-1 支援。這是德語/英語雙語 MoE 推理模型，78B 總引數、每 token 啟用 3.46B，50 層、384 個路由專家加 1 個共享專家，注意力以 4 層滑動視窗（視窗 513）交替 1 層全注意力，GQA 為 48 查詢頭對 4 KV 頭。
一份 50 篇材料、約 1300 題的新基準（Telegraph Test，程式碼與資料已開源）顯示，只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體（cablese）撰寫壓縮記錄，輸出 token 可省 40%–49%，而下游模型讀取這些記錄的準確率不低於明文（恢復比 0.99–1.10）。GLM-5.3-Flash 自身省 48.4%，qwen3.8-27b 省 48.9%，gemma-4-31b 省 40.4%；
一位基礎設施工程師記錄了近期收到的一類新招聘郵件：開頭由 LLM 複述其過往任職經歷並稱其「完美匹配」，緊接著的職位描述卻是 Django 全棧等與其背景無關的崗位，甚至職位描述本身也充滿明顯的 LLM 用語。作者認為，相比只替換姓名的老式模板郵件，這種假裝個性化的寫法更冒犯人，因為 LLM 本可以核對簡歷判斷是否匹配，卻只做了表面功夫，而簡單再跑一遍 LLM 或人工校對就能去掉這些痕跡。