搜尋

H-Nets 縮放實驗：兩級架構用 1/10 算力與資料跑贏同級開源模型

H-Nets（分層網路）公布擴充套件實驗結果：兩級（2-stage）版本在匹配開源模型的情況下，只用了約 1/10 的算力和資料就取得更優表現。作者同時給出受控的 1-stage 縮放階梯，顯示僅靠可學習的 tokenization 就能帶來 3 到 5 倍算力效率提升。H-Nets 把位元組到詞的切分放進模型內部端到端完成以取代 BPE 分詞器，並觀察到上下文內分詞等此前語言模型未見的行為，相關研究還延伸到生物與視覺任務。