LLM 做 MQM 與 ESA 翻譯品質標註,人類與模型均受挑戰
一項新論文評估了 LLM 能否替代人類做機器翻譯品質評估,結論是人類和模型在這項任務上都不輕鬆。研究針對 MQM(多維品質指標)與 ESA(錯誤跨度標註)兩套主流方案,將模型的標註結果與人類標註者的一致性進行對比。作者指出,機器翻譯評估涉及大量語言對、領域和不同標註粒度,LLM 只有在這些維度上被充分檢驗,才談得上作為人工評估的替代方案。
圍繞 MQM 與 ESA 兩套標註方案實測 LLM 與人類標註的一致性,為想用模型降低翻譯品質評估成本、或正在設計人工標註流程的團隊提供了實證依據。
原標題:Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
閱讀原文
| 評分 | 62 / 65(平均 63,門檻 60) |
|---|---|
| 狀態 | 精選 |
相關報導
開發者吐槽 LLM 招聘郵件:個性化段落與職位描述毫不相關
一位基礎設施工程師記錄了近期收到的一類新招聘郵件:開頭由 LLM 複述其過往任職經歷並稱其「完美匹配」,緊接著的職位描述卻是 Django 全棧等與其背景無關的崗位,甚至職位描述本身也充滿明顯的 LLM 用語。作者認為,相比只替換姓名的老式模板郵件,這種假裝個性化的寫法更冒犯人,因為 LLM 本可以核對簡歷判斷是否匹配,卻只做了表面功夫,而簡單再跑一遍 LLM 或人工校對就能去掉這些痕跡。
llama.cpp 新 PR 將共享專家融合進 MMVQ,部分 MoE 架構提速
llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ,為部分 MoE 架構帶來提速,例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%,並指出僅對部分 MoE 架構有效。
研究:LLM 用 1866 年電報體壓縮記錄可省近半 token
一份 50 篇材料、約 1300 題的新基準(Telegraph Test,程式碼與資料已開源)顯示,只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體(cablese)撰寫壓縮記錄,輸出 token 可省 40%–49%,而下游模型讀取這些記錄的準確率不低於明文(恢復比 0.99–1.10)。GLM-5.3-Flash 自身省 48.4%,qwen3.8-27b 省 48.9%,gemma-4-31b 省 40.4%;
Janas-LLM 讓 32GB 筆記本跑 48GB 的 80B MoE 模型,速度快過 llama.cpp
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家,在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
llm-mistral 0.16 發布,新增支援 Mistral Large 4 等推理模型
Simon Willison 發布 LLM 外掛 llm-mistral 0.16,新增對推理模型的支援,包括新發布的 Mistral Large 4。該外掛通過 Mistral API 提供對 Mistral 模型的訪問,屬於 LLM 外掛生態的一部分。發布日期為 2026 年 10 月 6 日。