H-Nets 縮放實驗：兩級架構用 1/10 算力與資料跑贏同級開源模型
H-Nets（分層網路）公布擴充套件實驗結果：兩級（2-stage）版本在匹配開源模型的情況下，只用了約 1/10 的算力和資料就取得更優表現。作者同時給出受控的 1-stage 縮放階梯，顯示僅靠可學習的 tokenization 就能帶來 3 到 5 倍算力效率提升。H-Nets 把位元組到詞的切分放進模型內部端到端完成以取代 BPE 分詞器，並觀察到上下文內分詞等此前語言模型未見的行為，相關研究還延伸到生物與視覺任務。
用實測縮放曲線證明去掉 BPE 分詞、把切分交給模型內部學習可省 3 到 10 倍算力，對關注預訓練架構與分詞方案的開發者有直接參考價值。
原標題：Scaling Hierarchical Networks
閱讀原文
| 評分 | 72 / 72（平均 72，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
用 ML Intern 幾天做出 6 個模型，9B 改寫器壓到 0.8B
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent，幾天內做出 6 個公開模型，其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本，可在 CPU 執行，輸出有效率 99.7%，token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本，算力成本 16 美元。
輝達開源 Nemotron 3.5 Super VL 與兩款 Bolt 邊緣模型
輝達發布 1200 億引數開源模型 Nemotron 3.5 Super VL，主打多模態 agentic 任務，官方稱其準確率接近自家最大推理模型、引數量約為五分之一，吞吐量最高達同類模型 5 倍。同時推出兩款邊緣模型：Bolt 74B-A9B 24GB 採用原生 2-bit 量化，可在 RTX/DGX Spark 的 24GB 記憶體內本地執行 agent，現已可用；Bolt E4B 4GB 面向 GeForce RTX、Jetson 等裝置，10 月 23 日發布。
llama.cpp 按專家 token 縮放 MoE 下投影，並支援張量並行
llama.cpp 建置 b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子：沿中間維做 POOL_1D 最大值歸約得到縮放量，輸出端再用同一 2 的冪因子還原。同時在 Meta 的 split-state 邏輯中加入 POOL_1D 處理，沿 axis 0 切分時變成各裝置複製的部分結果，從而支援張量並行。該提交還把 amax src1 縮放結果改為通過結構體返回，並清理註釋。
Neuralwatt 實測：harness 快取差異可讓請求能耗翻倍
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
GVS5H 讓五個 Qwen3.8-27B 例項協作，LiveCodeBench 達 92.4%
本地部署的開源 Qwen3.8-27B 用上 GVS5H 後，在 LiveCodeBench 最新 100 道 hard 題上的 pass@1 從 66.8% 升到 92.4%。該方法不需要訓練：同一模型開五個例項，通過共享檔案系統裡的計劃、筆記與當前解來拆解問題並協調，在固定後端上最多帶來 25.6 個百分點提升。雲端編排的 Qwen3.8 Flash Next 達到 93.0%，高於 Fable 5 的 90.4%，成本僅為其 9%。收益並不普遍，部分模型持平或變差；