AISpot

搜尋

找到 2 筆;也可以試試 語意搜尋

Meta AI blog● 精選AI 評分77

Meta 發布 Brain2Qwerty v2,非侵入腦電解碼詞準確率達 61%

Meta 發布 Brain2Qwerty v2,這是目前效能最高的端到端非侵入式腦訊號即時句子解碼流程,詞準確率達 61%,遠超其他非侵入方法的 8%,最佳參與者達 78%。模型基於 9 名志願者佩戴 MEG 裝置打字約 10 小時、共約 2.2 萬句資料訓練,採用端到端深度學習直接從原始腦訊號解碼,並微調大語言模型利用語義上下文。Meta 同時開源 v1 與 v2 完整訓練程式碼,合作方 BCBL 發布 v1 資料集。

Hacker News front pageAI 評分45

作者撰文反駁沒人懂大語言模型如何工作

有作者撰文反駁“沒人知道大語言模型如何工作”的說法,稱 LLM 是純機械系統。文中拆解一次推理:文字先切成 token 並數值化,經矩陣乘法、注意力、歸一化與非線性變換逐層計算啟用,最終得到下一個 token 的機率分佈並按解碼規則輸出;訓練用損失函式回傳誤差調整引數,日常呼叫不會改動引數。作者強調只要有模型與工具,就能記錄每層啟用、檢查注意力頭與權重、增刪元件觀察變化,Transformer Circuits 與 circuit tracing 等可解釋性研究也在公開推進。