雙語預訓練在資料受限場景優於超引數調優
論文發現,在資料受限的低資源語言預訓練中,混入高資源輔助語言的資料比激進超引數調優更有效。原文指出,世界上多數語言可用的預訓練資料有限,模型必須反覆重複同一批資料,導致泛化能力下降。此前的兩種補救辦法是:用高權重衰減等激進調參壓縮權重、限制網路容量;或按可調混合比例摻入輔助語言資料,擴大訓練分佈、豐富訓練訊號。該研究在資料受限條件下對二者做了對比,結論是雙語預訓練勝過超引數搜尋。
依意思最接近的 23 筆
論文發現,在資料受限的低資源語言預訓練中,混入高資源輔助語言的資料比激進超引數調優更有效。原文指出,世界上多數語言可用的預訓練資料有限,模型必須反覆重複同一批資料,導致泛化能力下降。此前的兩種補救辦法是:用高權重衰減等激進調參壓縮權重、限制網路容量;或按可調混合比例摻入輔助語言資料,擴大訓練分佈、豐富訓練訊號。該研究在資料受限條件下對二者做了對比,結論是雙語預訓練勝過超引數搜尋。
Cloudflare 與 Ceramic.ai、Exa、Linkup 合作,通過 AI Gateway 推出 Web Search API,讓 agent 用搜尋抓取即時網頁內容並注入上下文,而不是猜 URL 再 curl 而返回 404。呼叫計入 AI Gateway 額度與可觀測日誌,支援 BYOK 和 Zero Data Retention 標識,按合作方原價提供、不加價,可在 Workers 裡一行繫結或直接調 REST 端點。
Cloudflare 的 Web Search API 進入公測,讓 AI agent 與應用能聯網搜尋,用即時資訊替代猜測 URL 或依賴模型訓練截止日期。上線時可選 Ceramic.ai、Exa、Linkup 三家搜尋提供商,三家均支援通過 Cloudflare 發起的請求零資料保留,並承諾遵守 Cloudflare 的驗證爬蟲標準。
Meta 表示已訓練出 Muse Wonder 模型家族,重點在對齊與安全兩個維度上領先。官方稱交付個人超級智慧需要在對齊與安全上大幅投入,並要求模型對私人資訊保持審慎、抵抗濫用。該家族據稱能更穩健地應對對抗性指令,並更謹慎地處理隱私資訊。推文未提及模型規模、開放時間或評測資料。
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型,740M 引數在多項基準上具備競爭力,甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布,權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索,例如用語音備忘錄定位影片片段,也可與 Gemma 4 搭配實現端側私有 RAG。
Hinton、Bengio 等 22 位作者聯合發表首篇 RSI(遞迴自我改進)論文《What if automating AI R&D triggers an intelligence explosion?》。論文引用 Anthropic 內部資料:AI 生成獲批程式碼佔比從 2025 年 1 月的低個位數升至 2026 年 5 月的超 80%,Claude 在高層監督下自主完成的 AI 研發工作比例從 2026 年 3 月的約 1% 升到 8 月的 26%。
一名軟體工程師用 Claude Code 搭建 AI 流水線,在一夜 12 小時內檢索 435 萬頁荷蘭東印度公司檔案與舊報紙,發現一份被遺忘的隕石記錄、三隻未記錄的犀牛和未定位的火山噴發。他把 570 萬段文字轉成語義向量檢索,再用每百萬詞僅幾美分的小型決策模型 Jev 初篩(讀 5.9 萬條大象記錄約 3 美元),由 Claude Haiku 精讀並核對原始掃描頁。靈感來自歷史學家 Benjamin Breen 用 Opus 5.5 找到的 1615 年渡渡鳥目擊記錄。
Strands Labs 開源了 2B 引數的決策模型 Strands Decider 2B,權重已上 Hugging Face,訓練資料與指令碼一併公開。它基於 Qwen3.5-2B 去掉 LM head、換成約百萬引數的 pointer head 並加 rank-16 LoRA 微調,只能從給定選項中作答或打分,因此不支援編碼、聊天與摘要。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
OpenAI 發布 GPT-6.1 Sol 的 Ultrafast 模式,官方稱智慧水平與標準版一致、仍逼近旗艦 Astra,但速度是標準版的 8 倍。其 API 定價為每百萬輸入 token 12 美元、輸出 60 美元,是標準版(2 美元 / 10 美元)的 6 倍,API 呼叫不受訂閱等級限制。
輝達 Inception 計劃的多家初創公司正用 AI 補乳腺癌篩查、風險評估與治療規劃的缺口。iSono Health 的 FDA 許可 ATUSA 可穿戴自動 3D 超聲每側乳房約 2 分鐘完成成像,傳統手持超聲最長需 45 分鐘,其敏感度稱高出 28%,已在加州、德州等地診所商用,並啟動 3200 人臨床研究。Whiterabbit.ai 的 FDA 許可 WRDensity 軟體自動評估乳腺密度,已用於數十萬患者;
Mistral 放出 Mistral Large 4 預覽版:1 萬億總引數、490 億啟用引數,在自建 3800 塊 NVIDIA Grace Blackwell GPU 叢集上訓練。預覽版目前只通過 Mistral API 提供,官方承諾月底發布開放權重版本。該 API 僅支援 none 和 high 兩檔推理等級,high 檔生成同樣題目時用了 2717 個輸出 token,反而少於 none 檔的 3275。
GPT-6 Astra Ultrafast 已在 OpenAI API 上線,並向符合條件的 ChatGPT Work 與 Codex 使用者開放,執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍,可縮短 coding agent 的編輯—測試—除錯迴圈,並減少工具呼叫之間的等待。開發者可通過 API 使用,訪問方式、價格與實現細節見 Ultrafast 指南。
OpenAI 新平台發布系列首篇隨筆《永恆的互補》,作者為 Hemanth Asirvatham 與 Elliott Mokski,文末註明觀點不代表 OpenAI。文章引用 Nick Bloom 等研究:維持摩爾定律所需研究人員數量是 1970 年代初的 18 倍以上,1930 年代以來全經濟有效研究投入增長 23 倍,而研究生產率下降 41 倍。作者據此提出「制度智慧」概念,認為前沿智慧與執行能力互為補充,超級智慧的價值可能更多體現在重複性執行工作上。
Google DeepMind 宣布 SynthID Detector 現已向所有人開放,可用來判斷網上內容是否由 AI 生成。該工具除 Google AI 外,還支援檢測 OpenAI、NVIDIA、Kakao 等行業夥伴工具生成的內容,Apple 即將加入。使用者可通過 synthid.com 試用。
川普推動把「人工智慧」改名為「超級智慧」,矽谷部分有影響力的人物正在跟進。馬斯克在川普表態數小時後即表示支援,並承諾把 SpaceXAI 更名為 SpaceXSI,是回應最快的一位。不過大眾仍普遍沿用 AI 這一說法。川普稱白宮認為「超級智慧」是更被接受、更準確的新術語。
DeepSeek 計劃領投具身智慧初創公司 Winverse AI 的數千萬美元種子輪融資,投後估值約 4 億美元(約 28 億元人民幣),美團旗下龍珠資本也作出投資承諾。Winverse AI 今年剛成立,創始人胡瀚是 Swin Transformer 論文共同作者、原騰訊混元傑出科學家,曾負責視覺語言與具身智慧基礎模型團隊。這是 DeepSeek 兩個月內第二次投向機器人領域,此前 8 月以約 1.41 億元入股宇樹科技,並簽署具身智慧與大模型聯合研發的戰略合作備忘錄。
SCM(Screen Memories)是一款 macOS 本地優先的 AI 搜尋工具,可對任意資料夾中的照片和影片逐幀進行語義搜尋,無需帳號、雲端或上傳,推理全部在本機完成。它提供 Files、Scenes、OCR、Dialogue 和可選的本地 LLM 聊天五種搜尋模式,支援按鏡頭時間碼跳轉、Whisper 臺詞精確檢索以及 Tesseract 多語言文字識別。預設 CLIP 模型權重約 435MB,首次下載後完全離線;
獨立研究者 10 月 5 日發布初步發現,追蹤到一批並行的 AI agent,疑似執行在騰訊的基礎設施上,目標指向阿里巴巴的高德地圖服務,查詢內容為公園、動物園、醫院等公共場所不同入口的路線。研究者拒絕使用 swarm 一詞,稱應叫 agent fleet:多個 agent 執行同類任務,彼此之間沒有通訊跡象。這些活動是通過監控域名掃描服務 URLquery 的流量發現的,該服務常被 agent 用來載入無法直接訪問的網站並留下記錄;研究仍在進行中。
純 Rust 編寫的開源引數化 3D CAD SolidCraft 發布,內建 MCP 伺服器,可讓 AI agent 直接驅動建模,同時支援桌面端與瀏覽器執行。它提供草圖約束求解、拉伸/旋轉/掃掠/放樣、裝配、鈑金與引數化特徵時間線,修改尺寸後模型自動重建,並可匯出 STEP 與 IGES。已提供 Windows、macOS、Linux(AppImage、deb、rpm、Flatpak、Snap)及 ARM64 與網頁版下載,安裝包尚未簽名。
DeepSeek 彈性計算團隊大量招聘,尤其需要資深工程師,併發布技術報告《DeepSeek 彈性計算(DSec):面向大規模 Agent 訓練的沙盒基礎設施》。DSec 支撐 DeepSeek-V4 全部訓練、評測和資料預處理,單個分片約 160 臺伺服器、3 萬 CPU 核心、250TB 記憶體,每天服務約 300 萬個沙盒,高峰線上超 38 萬個,每秒建立 5000 多個。團隊接下來要把 Agent 執行環境的數量和種類擴充成百上千倍。