找到 7 筆
有作者撰文反駁“沒人知道大語言模型如何工作”的說法，稱 LLM 是純機械系統。文中拆解一次推理：文字先切成 token 並數值化，經矩陣乘法、注意力、歸一化與非線性變換逐層計算啟用，最終得到下一個 token 的機率分佈並按解碼規則輸出；訓練用損失函式回傳誤差調整引數，日常呼叫不會改動引數。作者強調只要有模型與工具，就能記錄每層啟用、檢查注意力頭與權重、增刪元件觀察變化，Transformer Circuits 與 circuit tracing 等可解釋性研究也在公開推進。
TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資，由 Andreessen Horowitz 領投，紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布，基於 transformer 架構但不是大語言模型，不輸出文字而是生成機率，公司稱之為「校準決策」，定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM，並稱已有三分之一財富 500 強企業在使用；
Quanta 雜誌專欄回顧注意力機制的由來與影響：2014 年，Dzmitry Bahdanau 與 Yoshua Bengio、Kyunghyun Cho 為提升英法翻譯提出注意力，讓神經網路處理長句不再受固定記憶瓶頸限制。它讓網路動態判斷源句中哪些詞最影響下一個輸出詞。2017 年 Google 團隊發表《Attention Is All You Need》，提出只靠注意力的 transformer，以更少算力取得當時最佳翻譯，該論文已被引用超過 25 萬次。
美國司法部 10 月 2 日宣布逮捕 38 歲的 Earthmade Computer 執行長 Greg Lui，指控其利用虛假檔案將價值超 3 億美元的受出口管制輝達晶片伺服器走私至中國。起訴書稱，Lui 涉嫌與馬來西亞、新加坡等南亞國家的貨運代理公司合謀，非法轉運輝達 A100 和 H100 GPU。美方擔憂這些晶片可用於訓練大語言模型，可能帶來國家安全風險。
有人在 GitHub 上對本地執行的大語言模型進行「拷問」和「疼痛」實驗，引發 X 上關於 AI 倫理的激烈爭論，部分有效利他主義者和相信 LLM 有感知的人要求 GitHub 刪除該專案。爭論源於近期多篇關於 AI 意識和「模型福利」的病毒式論文與博文，Anthropic 也曾在部落格和「Claude 憲法」中提及模型福利。文章認為 LLM 並不具備意識，其基於人類文字訓練的技術沒有通向意識的合理路徑。
Meta 發布 Brain2Qwerty v2，這是目前效能最高的端到端非侵入式腦訊號即時句子解碼流程，詞準確率達 61%，遠超其他非侵入方法的 8%，最佳參與者達 78%。模型基於 9 名志願者佩戴 MEG 裝置打字約 10 小時、共約 2.2 萬句資料訓練，採用端到端深度學習直接從原始腦訊號解碼，並微調大語言模型利用語義上下文。Meta 同時開源 v1 與 v2 完整訓練程式碼，合作方 BCBL 發布 v1 資料集。
Sergey Levine 在播客 The Peterman Pod 中表示，機器人硬體已「足夠好」，當前最大挑戰是建立讓機器人理解外部世界的決策迴圈，而非控制身體。他認為正確順序是先積累紮實的具身經驗，再接入影片等其他來源資料，與先用網際網路影片訓練的路線相反；機器人對可靠性的要求高於大語言模型，強化學習尚未解決從 95% 到 100% 的最後一步。