AISpot

LLM 做 MQM 與 ESA 翻譯品質標註,人類與模型均受挑戰

Apple Machine Learning Research評測研究

一項新論文評估了 LLM 能否替代人類做機器翻譯品質評估,結論是人類和模型在這項任務上都不輕鬆。研究針對 MQM(多維品質指標)與 ESA(錯誤跨度標註)兩套主流方案,將模型的標註結果與人類標註者的一致性進行對比。作者指出,機器翻譯評估涉及大量語言對、領域和不同標註粒度,LLM 只有在這些維度上被充分檢驗,才談得上作為人工評估的替代方案。

圍繞 MQM 與 ESA 兩套標註方案實測 LLM 與人類標註的一致性,為想用模型降低翻譯品質評估成本、或正在設計人工標註流程的團隊提供了實證依據。

原標題:Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
閱讀原文

評分62 / 65(平均 63,門檻 60)
狀態精選

相關報導

Hacker News front pageAI 評分29

開發者吐槽 LLM 招聘郵件:個性化段落與職位描述毫不相關

一位基礎設施工程師記錄了近期收到的一類新招聘郵件:開頭由 LLM 複述其過往任職經歷並稱其「完美匹配」,緊接著的職位描述卻是 Django 全棧等與其背景無關的崗位,甚至職位描述本身也充滿明顯的 LLM 用語。作者認為,相比只替換姓名的老式模板郵件,這種假裝個性化的寫法更冒犯人,因為 LLM 本可以核對簡歷判斷是否匹配,卻只做了表面功夫,而簡單再跑一遍 LLM 或人工校對就能去掉這些痕跡。

Hacker News front pageAI 評分75

研究:LLM 用 1866 年電報體壓縮記錄可省近半 token

一份 50 篇材料、約 1300 題的新基準(Telegraph Test,程式碼與資料已開源)顯示,只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體(cablese)撰寫壓縮記錄,輸出 token 可省 40%–49%,而下游模型讀取這些記錄的準確率不低於明文(恢復比 0.99–1.10)。GLM-5.3-Flash 自身省 48.4%,qwen3.8-27b 省 48.9%,gemma-4-31b 省 40.4%;