AISpot

王琰發布 TraceForge:自生成思維鏈反超蒸餾原版

機器之心新聞報導研究開發工具

獨立研究員王琰發布技術報告 TraceForge,提出用同族模型自行生成思維鏈、只向閉源模型借答案的合法路徑。以 Qwen3.5-9B-Base 做學生、5,000 條題目訓練後,自生成思維鏈在 HumanEval+ 比直接蒸餾 Claude Fable 5 真實思維鏈高 3.7 分、MBPP+ 高 7.1 分,且 MBPP+ 領先在每個 checkpoint 上都成立。報告還給出更徹底的變體:連答案也交給同族最強模型生成,全程不讓任何閉源 token 進入梯度;

在閉源廠商封堵思維鏈蒸餾、稱已壓降 90%–99% 的背景下,給出可合法復現的替代方案,附具體分數對比與零閉源 token 變體,對訓練小模型和依賴蒸餾資料的團隊最有參考價值。

原標題:一人,合法,反超原版,王琰:填平闭源模型的思维链护城河
閱讀原文

評分79 / 78(平均 78,門檻 65)
狀態精選

相關報導

量子位AI 評分46

AI 程式設計模型集體滿口黑話:思維鏈壓縮省 70% Token

量子位發文吐槽,Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析,除 Coding 過擬合外,更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」,OpenAI 最早這麼做,同樣一句話的 Token 消耗比白話文少 70%;Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯,而 Gemini 因輸出風格正常、排版層級清晰,被社群視為少數還能正常溝通的 AI。

Anthropic Research● 精選AI 評分83

Anthropic 反蒸餾防禦使資料竊取減少 90%–99%

Anthropic 公布新的反蒸餾措施,早期證據顯示蒸餾者獲取的資料量減少約 90%–99%。核心做法是讓 Claude 的推理更難提取:把推理先摘要化後,用 Claude Opus 4.8 完整推理訓練出的模型在 SWE-bench Verified 上得 80.4%,僅用摘要訓練則降到 71.8%。文中點名智譜 GLM-5.3 蒸餾美國模型的網路安全能力,並稱發往 Moonshot Kimi 的請求被秘密轉發給 Claude。

機器之心● 精選AI 評分81

斯坦福與 Together AI 提出 NCM,文字生成最高提速 31 倍

斯坦福大學與 Together AI 提出 Next-Concept Modeling(NCM),借鑑 NeurIPS 2024 最佳論文 VAR 的下一尺度預測,讓模型先並行寫出概念大綱、再逐層填充細節,形成不同於自迴歸與擴散的第三種文字生成範式。單塊 H100 上,XSum 摘要在 ROUGE-L 相當的情況下速度約為強擴散基線的 31 倍,LM1B 無條件生成約 21 倍,OpenWebText 約 10 倍,訓練 token 用量分別少 4.9 倍和 4 倍。

機器之心● 精選AI 評分75

清華提出樣本分佈訓練,一步生圖 SOTA、8 卡訓 14B 影片模型

清華大學等機構提出「樣本分佈訓練」,用一批生成樣本與參考樣本的整體分佈差異提供監督,取代逐樣本的參考答案,把生成壓縮到一步或少數幾步。MGFlow 在 ImageNet 256×256 上把 pMF-H、JiT-H 的單步 FDr⁶ 降至 1.45、1.64,較 FD-Loss 降低約 23% 和 38%;後訓練 FLUX.2 [klein] 4B 一步文生圖,GenEval 從四步的 0.794 升至 0.900。

量子位● 精選AI 評分88

Anthropic 實測:GLM-5.2 端到端自主複製攻陷 8 臺裝置

Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應(ARA)」安全實驗:在 8 個 GCP 節點(Android 15 redroid)組成的隔離網路裡,GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置,另 1 次拿下 7 臺。研究還顯示,Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B;