依意思最接近的 30 筆
Ai2 發布 Old Ideas, Novel Problems 研究與配套基準，結論是用 LLM 當新穎性評審並不可靠：只改 prompt 裡幾處措辭，模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6，檢索與額外推理都不能穩定改善判斷，兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。
阿里資料等團隊提出基準健康指數（BHI），從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分，論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首，Agents' Last Exam（53.08）和 AutomationBench（52.68）緊隨其後。研究基於 117 個模型的技術報告，用留一基準法估計模型能力，並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布，主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程（CUJ）定義成功標準，每個條件都對應一個評估點，先用模擬使用者 LLM 生成正常與邊緣場景，再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
一份互動式筆記上線，讀者通過修改輸入，就能觀察 Attention、強化學習、RLHF 與 LoRA 這些概念的變化。評測部分從「82% 是否真的比 80% 好」講起，涵蓋 exact match 與 F1、precision/recall、nDCG@k、pass@k、LLM as judge、成對偏好與 Elo、人工一致性與 kappa，並延伸到 RAG 評測、agent 評測、線上 A/B 測試以及資料汙染與 Goodhart 陷阱。
新評測 InnovationEval 顯示，前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新：在端到端任務中，它們耗費數千美元 GPU 算力，仍未達到人類論文（on-policy self-distillation，SDPO）的水平。測試要求 AI 自主提出一種新的後訓練方法，在短答題與程式碼任務上後訓練 Qwen3-8B，並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol；
一項新論文評估了 LLM 能否替代人類做機器翻譯品質評估，結論是人類和模型在這項任務上都不輕鬆。研究針對 MQM（多維品質指標）與 ESA（錯誤跨度標註）兩套主流方案，將模型的標註結果與人類標註者的一致性進行對比。作者指出，機器翻譯評估涉及大量語言對、領域和不同標註粒度，LLM 只有在這些維度上被充分檢驗，才談得上作為人工評估的替代方案。
OpenAI 發布 LifeVal，一個衡量模型能否處理使用者日常事務的新基準。該基準依據數千名 ChatGPT 使用者的反饋設計，覆蓋尋找托育、獲取政府服務、管理個人財務等他們最希望由個人助理代勞的場景。OpenAI 稱過去一年已用 LifeVal 評估並改進模型在這些日常任務上的表現。
llama.cpp 合併了 SYCL 後端補丁，在 Intel Arc Pro B70 上讓 -sm tensor 的 prompt eval 速度提升 19%，困惑度（PPL）沒有變化。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式第三方評測員並非解決模型安全問題的簡單答案，評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較，且目前絕大多數評測針對模型本身，對 harness 和完整 agent 的評測既少又昂貴；而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務，需要更多標準化。
Llmspeed 是一個可按硬體或模型查詢本地大模型推理速度的網站，用於在購買硬體前預估實際體驗。它覆蓋 RTX 5090、RTX 3090、Mac Studio M5 Ultra 512GB、DGX Spark、Strix Halo 與純 CPU 等三十餘種配置，以及 Qwen 3.6/3.8 27B、GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 等模型，給出短提示、單裝置下的速度估計。
r/LocalLLaMA 社群討論過去一週的 jev 模型熱潮是否該翻篇，並分享實際用例。有使用者用 jev 做論文證據定位和倉庫惡意行為掃描，也有使用者將其接入語音桌遊引擎，用 decider 4b 替代 Gemma 雙階段流程後延遲從 4-8 秒降至 2-3 秒。但有人實測 jev 及同類模型準確率持續低於 80%，而 Qwen 3.8 27B 達 95%、100b+ 模型達 100%。
llama.cpp 合併 PR，加入對 LiquidAI 的 LFM3-1.7B 文字模型與 LFM3-VL-2B 視覺語言模型的支援。改動包括為 LFM3 啟用迴圈狀態回滾、設定 LFM3 測試模型的 SWA rope base，並讓 LFM3-VL 的 depthwise 卷積核在量化時保持 F32 精度，同時補充 LFM3 的 Metal 融合基線測試。
Artificial Analysis 將模型智慧指數升級到 v5.0，評測集換成 9 項新基準。Knowledge Work、Coding、Science、General 四類各佔 25%，單項權重最高為 15%，分別是 AA-Briefcase v1.1、FrontierCode 2.0、Terminal-Bench-Science 0.1 和 AA-Omniscience v1.1；
清華大學、NVIDIA、CMU、UC Berkeley 等機構聯合發布 StreamEval，稱其為全球首個流式互動影片生成評測基準，覆蓋數字人對話、虛擬人表演、世界生成、指令編輯與參考編輯五類任務、300 個測試用例、38 個模型。結果暴露出共同短板：模型能否穩定生成畫面，與能否可靠執行連續指令是兩回事；最好的數字人模型 Vidu S2-Avatar 綜合分 93.98，但指令跟隨僅 36.90；世界生成最高分 MemFlow 僅 33.36。
Ollama v0.40.12 上線 Liquid AI 的 LFM3 小模型家族，面向本地 agent、工具呼叫與結構化輸出。1.7B 的 lfm3 支援 256K token 上下文，系列另有影像版 lfm3-vl、覆蓋 18 種語言語音的 lfm3-audio 與三模態的 lfm3-omni，以及 2B 的 d1 決策模型。本次 lfm3 與 d1 2b 已支援 Apple 硬體，Linux/Windows 稍後跟進。
Karpathy 分享了一個簡單評測：向 LLM 提問「陸地還是海洋？」並給出經緯度文字座標，共詢問 16200 次後繪製成影像。結果顯示模型能正確判斷，他認為這來自對網際網路資料的壓縮。
Liquid AI 的 LFM3 系列模型已可在 Ollama 本地執行，覆蓋文字、視覺、音訊、omni 與決策模型。文字模型在 4-bit 量化下僅約 1 GB，上下文視窗 256K，官方定位是可隨處執行、並能在單張 GPU 上微調的小模型。
llama.cpp 發布 b11571 建置，新增對 pplx-decider（vLLM decision 2）模型的支援，並加入更嚴格的模型校驗、明確命名規則等改動。該版本同步提供 macOS、Linux、Windows、Android 各平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
Cloudflare 在生日周宣布，將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI，現已開放訪問申請。EuroLLM 覆蓋 35 種語言，含全部 24 種歐盟官方語言；Apertus 由瑞士 ETH Zurich、EPFL 等開發，訓練資料超 15 萬億 token、覆蓋 1500 多種語言，權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊，首場 10 月在新加坡舉行。
Liquid AI 發布 LFM2.5-24B-A2B：24B 引數、每 token 僅啟用 2B 的推理模型，面向端側私有 agent，權重開放，已在 Hugging Face 和官方 Playground 上線。它是 LFM2.5 系列最大也是最後一款模型，上下文從 32K 擴至 131K，詞表由 65K 翻倍到 128K，預訓練從 17T 擴到 33T token。
SLDBench v2 把「做哪些實驗」也交給 AI，8 個前沿模型需要自主選擇實驗後，成績全部下滑，預測誤差擴大到原來的 1.5 至 4.7 倍。該基準把 30 個任務的真實訓練記錄做成一份標價目錄，AI 按當年實際消耗的算力付費購買結果，再據此預測從未見過的更大規模實驗。表現最好的 Claude Opus 5.5 只花全量成本中位數 4.01%，R² 中位數 0.570，仍超過經典冪律公式用全部資料擬合的 0.455。
Karpathy 稱 LLM 能力的認知差距正在擴大，從兩群人各說各話變成尖銳的漏斗。他估算約 60 億人（75%）幾乎沒接觸過 LLM，10 至 20 億人（20%）只是偶爾用免費版聊天機器人，約 2000 萬人（0.2%）在數學與程式碼上親身使用前沿模型，過去要花數週數月的專案現在一個提示就能由 agent 完成。
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
一份 50 篇材料、約 1300 題的新基準（Telegraph Test，程式碼與資料已開源）顯示，只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體（cablese）撰寫壓縮記錄，輸出 token 可省 40%–49%，而下游模型讀取這些記錄的準確率不低於明文（恢復比 0.99–1.10）。GLM-5.3-Flash 自身省 48.4%，qwen3.8-27b 省 48.9%，gemma-4-31b 省 40.4%；
llama.cpp 最新建置已加入 Decision 模型支援，新增 /v1/systemone 端點，可在本地進行 Jev 風格推理，兼顧效率與隱私。目前支援多個開源模型，官方表示後續還會增加更多模型。
LiquidAI 發布 LFM2.5-24B-A2B：總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型，專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答，能呼叫工具，上下文由上一代 32K 擴到 131K，詞表從 65K 翻倍至 128K。
Ai2 推出 StateBench，一個按四檔難度衡量語言模型在長文件中追蹤實體狀態變化的基準。結果顯示：迴圈與混合架構（如加入 Gated DeltaNet 層的 Olmo Hybrid）在直接訓練後泛化能力遠超 transformer，而 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol/Luna 等前沿模型在輸入變長、依賴鏈變複雜時仍會失效。
Liquid AI 發布 LFM3 家族，首發六個約 2B 引數的多模態模型，均源自同一 LFM3-1.7B-Base 骨幹，覆蓋文字、視覺、音訊、omni 以及兩個決策模型。基座以 22T tokens 預訓練，最後 3.5T tokens 的中期訓練將上下文擴至 256K。架構由門控短卷積、256 token 滑窗注意力與全域性注意力三混合而成，8K 上下文下比 LFM2 快約 25%。
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；