AISpot

搜尋

找到 11 筆

Anthropic Research● 精選AI 評分83

Anthropic 反蒸餾防禦使資料竊取減少 90%–99%

Anthropic 公布新的反蒸餾措施,早期證據顯示蒸餾者獲取的資料量減少約 90%–99%。核心做法是讓 Claude 的推理更難提取:把推理先摘要化後,用 Claude Opus 4.8 完整推理訓練出的模型在 SWE-bench Verified 上得 80.4%,僅用摘要訓練則降到 71.8%。文中點名智譜 GLM-5.3 蒸餾美國模型的網路安全能力,並稱發往 Moonshot Kimi 的請求被秘密轉發給 Claude。

Hacker News front pageAI 評分70

UniEvo-VL:多模態模型自蒸餾自我進化訓練配方

arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法:讓同一個多模態模型分別以學生和教師身份出現,學生只看原始問題,教師額外看到自我批評作為特權資訊,訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異,無需依賴更大的外部教師模型。基於開源 Qwen-image-2512,GenEval 從 0.747 升至 0.808,GenEval2 Soft-TIFA 從 32.97 升至 35.53。

Apple Machine Learning ResearchAI 評分53

RISED:多環境 agent 訓練的評分標準與自蒸餾方法

論文提出 RISED,用評分標準(rubrics)驅動多環境 agent 訓練的 prompt 組選擇與自蒸餾。作者指出現有課程與資料選擇策略多在環境層面分配訓練,或只依賴區域性 reward 訊號,沒有顯式利用不同環境當前 rollout 之間的關係來挑選 prompt 組。同時各環境學習速度不一,同一 batch 內會並存全失敗與全成功的 rollout 組,這批資料無法獲得 group-relative 獎勵訊號。

機器之心● 精選AI 評分66

九章雲極在陶哲軒數學蒸餾挑戰賽四賽道滿分奪冠

九章雲極旗下言表實驗室在陶哲軒聯合創立的 SAIR Foundation 數學蒸餾挑戰賽第二階段奪冠,四個賽道均滿分 200 分、總榜 221 分,294 支參賽隊伍中排名第一。賽事要求蘊含成立時提交 Lean 4 形式化證明、不成立時提交反例,全部由確定性 Lean 驗證器逐一檢驗,未通過不得分。其論文為 28 個此前無公開分類的五階 Austin 等式首次構造出非平凡無限模型,共生成 636 份 Lean 4 證書並全部被驗證器接受。

Simon Willison● 精選AI 評分70

Anthropic 向投資者披露 Q3 營收 168 億美元,籌備 IPO

Anthropic 在 IPO 前向投資者披露,第三季度營收達 168 億美元,環比增長近 50%。此前 Q1 營收約 48 億美元、Q2 為 115 億美元;Q3 每 1 美元算力支出對應 1.70 美元收入,剔除股權激勵的調整後營業利潤率為 11%。公司同時表示,其他實驗室「蒸餾」其模型輸出貢獻的收入佔 5% 至 7%,已在第三季度大幅削減這部分用量。

機器之心● 精選AI 評分77

陳丹琦團隊開源 4B 象棋模型 QUEEN,能下棋也能講解

普林斯頓大學陳丹琦團隊發布約 4B 引數的國際象棋模型 QUEEN,Lichess 等級分 2697,接近特級大師快棋中位數 2730,且能用自然語言解釋自己的著法。做法是把 Lc0 的 BT5 網路經門控交叉注意力逐層接入 SmolLM3-3B,先用四階段問答課程教模型讀棋,再用七輪迭代搜尋蒸餾提升。它在 1000 道戰術題上首步不失誤率 91.6%,領先 Gemini-3.1-Pro 約 9 個百分點;

Hugging Face blog● 精選AI 評分78

用 ML Intern 幾天做出 6 個模型,9B 改寫器壓到 0.8B

Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent,幾天內做出 6 個公開模型,其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本,可在 CPU 執行,輸出有效率 99.7%,token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本,算力成本 16 美元。

Apple Machine Learning ResearchAI 評分58

RLTL;DR:讓模型從失敗中自寫反饋實現自我改進

論文提出 RLTL;DR 方法:在可驗證獎勵強化學習(RLVR)中,當任務難到模型幾乎無法成功、又沒有教師模型或範例解可蒸餾時,讓策略在每次失敗後檢視驗證器輸出,並自行寫出一條 TL;DR 式反饋,下一次 rollout 以此為條件。該方法面向自我改進場景,替代只最佳化成功嘗試的常見做法。

r/LocalLLaMA top of the day● 精選AI 評分80

微軟發布 4B 程式設計智慧體模型 FrogNano

微軟推出 FrogNano-4B-2609,一個面向低視訊記憶體裝置的程式設計智慧體模型,基於 Qwen3.5-4B 後訓練而來。其額外訓練為純文字、聚焦倉庫級軟體工程,用約 1500 個合成 SWE 任務環境和基於可執行測試的獎勵做強化學習,不依賴更強模型的解題軌跡蒸餾。模型需配合 Leaf 工具框架生成結構化工具呼叫,產出的補丁須經人工審查、迴歸測試與安全驗證後才能使用。

Apple Machine Learning Research● 精選AI 評分65

NTM 提出:少步擴散每步用條件歸一化流,保留精確似然

論文提出 Normalizing Trajectory Models(NTM),把擴散模型的每個反向步建模為表達力強的條件歸一化流,並支援精確似然訓練。擴散取樣通常依賴大量細小的高斯去噪步,壓縮到少數粗粒度轉移時該假設不再成立;此前的少步方法用蒸餾、一致性訓練或對抗目標解決,但都放棄了似然框架。架構上,NTM 在每步內組合淺層可逆塊與深層並行結構。