互動式筆記網站講解 RLHF、LoRA 與 LLM 評測
一份互動式筆記上線，讀者通過修改輸入，就能觀察 Attention、強化學習、RLHF 與 LoRA 這些概念的變化。評測部分從「82% 是否真的比 80% 好」講起，涵蓋 exact match 與 F1、precision/recall、nDCG@k、pass@k、LLM as judge、成對偏好與 Elo、人工一致性與 kappa，並延伸到 RAG 評測、agent 評測、線上 A/B 測試以及資料汙染與 Goodhart 陷阱。
把 LLM 評測指標和 RLHF、LoRA、Attention 這類概念做成可調輸入的互動演示，給出從 exact match 到 agent 評測與 Elo 的完整索引，適合想搞懂評測方法與訓練原理的開發者。
原標題：Show HN: Interactive notes on RLHF, attention, LoRA and LLM evals
閱讀原文
| 評分 | 60 / 65（平均 62，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
Ai2 發布基準：LLM 判斷研究新穎性並不可靠
Ai2 發布 Old Ideas, Novel Problems 研究與配套基準，結論是用 LLM 當新穎性評審並不可靠：只改 prompt 裡幾處措辭，模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6，檢索與額外推理都不能穩定改善判斷，兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。
阿里資料團隊提出基準健康指數，為 158 個評測基準打分
阿里資料等團隊提出基準健康指數（BHI），從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分，論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首，Agents' Last Exam（53.08）和 AutomationBench（52.68）緊隨其後。研究基於 117 個模型的技術報告，用留一基準法估計模型能力，並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
llm-echo 0.5 發布，模擬 token 統計計入工具呼叫與推理 token
llm-echo 0.5 發布，這個除錯外掛不接入任何 LLM，只把收到的 prompt 原樣回顯，新版讓模擬的 token 用量統計把工具呼叫、系統提示詞和推理 token 都計算在內。
llama.cpp server 通過 /props 暴露推理強度等級
llama.cpp 建置 b11944 讓 server 在 /props 的 chat_template_caps 中以 reasoning_effort_levels 欄位報告聊天模板支援的推理強度等級，按從低到高排列。探測方式是對 minimal、low、medium、high、xhigh、max 及一個未知等級分別渲染使用者輪次，能正常渲染且結果與未知等級不同才算被支援；渲染結果相同的視為別名，只保留最高階。
Karpathy 用 16200 次座標提問測試 LLM 地理能力
Karpathy 分享了一個簡單評測：向 LLM 提問「陸地還是海洋？」並給出經緯度文字座標，共詢問 16200 次後繪製成影像。結果顯示模型能正確判斷，他認為這來自對網際網路資料的壓縮。