為什麼嵌入模型常用 1536 維?
有使用者在討論區提問,為什麼嵌入模型常選擇 1536 維,而非 1024 或 2048。提問者已理解 64/128/256/512 等硬體友好倍數的意義,但好奇 1536=3×512 這一具體選擇的原因。OpenAI 曾使用 1536 維嵌入,其他廠商也提供或推薦該維度。提問者想知道這是 1024 與 2048 之間經驗性的折中點,還是存在架構或硬體上的特殊便利,並希望有實際訓練或設計嵌入模型的人回答。
依意思最接近的 29 筆
有使用者在討論區提問,為什麼嵌入模型常選擇 1536 維,而非 1024 或 2048。提問者已理解 64/128/256/512 等硬體友好倍數的意義,但好奇 1536=3×512 這一具體選擇的原因。OpenAI 曾使用 1536 維嵌入,其他廠商也提供或推薦該維度。提問者想知道這是 1024 與 2048 之間經驗性的折中點,還是存在架構或硬體上的特殊便利,並希望有實際訓練或設計嵌入模型的人回答。
Airbnb CTO Ahmad Al-Dahle 披露,公司目前 60% 的程式碼由 AI 生成,功能交付量同比增加近 80%,工程師人均 PR 吞吐量提升約 1.6 倍;約一半客服工單已完全由 AI 處理,與 Q2 財報中近 45% 的數字一致。內部上下文圖譜 Everest 幫助雜貨配送服務在 8 至 9 個月內上線,機場接送僅用約 6 周。Airbnb 採用多模型策略,至少部署 10 個定製模型,主要在開源模型上做後訓練和強化學習。
OpenAI 產品負責人 Tibo Sottiaux 發帖預告未來模型會更擅長刪除和簡化程式碼,並在評論中確認 Astra 6.1「coming soon」。負責 coding post-training 的研究員 Rajan Agarwal 轉發該帖,並公開徵集使用者遇到的 sloppy code 與程式碼品質問題。《華爾街日報》此前報導,Astra 6.1 原計劃 10 月發布,因內部安全測試中在權限邊界上表現不穩而被臨時叫停。
一位寫了 18 年程式碼的開發者表示,自去年在 Claude Code 中使用 Opus 4.5 後,用自然語言描述需求比手寫程式碼更快,於是徹底停止了手寫程式碼。他所在的 Filestage 團隊月合併 PR 從約 200 增至 300,bug 報告未增加,每位開發者每月 AI 訂閱費 20 美元,工具可自選 Codex、Claude Code 或 Cursor。
OpenAI 公布應對歐盟 AI 法案的文字溯源方案:全球 API 客戶即日起可為部分模型選擇開啟文字水印(預設關閉),未來幾週將在歐盟的 ChatGPT 與 Codex 文字輸出中加入不可見水印,檢測器僅向獲批研究者與專家組織開放申請。其自研 textGrain 通過統計訊號標記用詞,在 1% 誤報率下對 200 token 段落檢出約 80%、400 token 約 95%,數學等用詞受限內容明顯更低;
為滿足歐盟 AI 法案的監管要求,OpenAI 將內容溯源範圍從影像、音訊擴充套件到文字,未來幾週內在歐盟開始對 ChatGPT 和 Codex 的合規文字加水印。其 API 客戶即日起可在全球範圍內為部分模型開啟文字水印。OpenAI 同時承認,當前文字水印技術存在明顯侷限。
Hugging Face 後訓練團隊發布了一份多 harness 強化學習指南,介紹如何用 TRL 和 Harbor 等開源庫在不同 coding harness 中訓練開放模型。團隊稱,針對當前各人自建 harness(如 Pi 加擴充套件)的現狀,該方案給出了用任意開放模型在自訂 harness 上取得最佳效能的配方。指南已發布在 Hugging Face Spaces 上,作者歡迎反饋。
OpenAI 表示,文字水印用於回答一個問題:這段文字是否很可能由其模型生成。水印在生成時嵌入不可見的統計訊號,檢測器可據此識別,不會新增可見標記或特殊字元。它無法說明原作者或版權歸屬,也不能識別個人、組織、帳號、對話或提示詞。OpenAI 稱測試中水印未影響模型能力、速度以及回答的閱讀感受。
JetBrains AI 團隊發文介紹其語義程式碼搜尋平台 Air Context 的 RAG 流水線,已投入生產環境。首篇聚焦解析、分塊與向量化:固定行數分塊會把 import 與函式體等無關程式碼混在一起,導致檢索錯誤,因此需按原始碼結構(如 Java 的 import、類定義、欄位與方法)劃分語義完整的塊。
Cloudflare 在生日周宣布,將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI,現已開放訪問申請。EuroLLM 覆蓋 35 種語言,含全部 24 種歐盟官方語言;Apertus 由瑞士 ETH Zurich、EPFL 等開發,訓練資料超 15 萬億 token、覆蓋 1500 多種語言,權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊,首場 10 月在新加坡舉行。
OpenAI 宣布將在歐盟為 ChatGPT 和 Codex 生成的文字加入隱形水印,以符合 8 月 2 日生效的 EU AI Act 透明度規則。水印將在未來幾週內推送給歐盟所有套餐的合格使用者;全球 API 開發者即日起可為部分模型開啟,預設關閉,暫不設為全球預設。該方法名為 textGrain,通過微呼叫詞留下可被檢測器識別的模式,隨複製貼上保留,OpenAI 稱不影響模型表現。
TypeSafe AI 的 Jev 模型近期走紅,其介面可直接返回預設選項、分數或事件機率,供程式碼呼叫,但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score,僅用對錯標籤即可訓練置信度機率分佈,在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884,4 張 A40 上約 4 分鐘完成微調。
Ollama 官方帳號表示期待 Reflection AI 的新開源模型,並稱將有更多美國模型進入 Ollama。該帖未給出模型名稱、引數規模、發布時間與具體接入方式。
Ai2 開源了 AstaBrief 8B,一個把研究問題與檢索文獻片段轉成帶引用報告的模型,基於 Qwen3-8B 訓練,已作為 Asta 的 Fast 模式上線。官方稱 Fast 模式平均 51.1 秒生成一份報告,比 Claude 驅動的 Thinking 模式 178.5 秒快約 3.5 倍。模型權重、訓練資料與範例工作流一併開放,機構可在自有基礎設施上本地生成報告。
有人在 GitHub 上對本地執行的大語言模型進行「拷問」和「疼痛」實驗,引發 X 上關於 AI 倫理的激烈爭論,部分有效利他主義者和相信 LLM 有感知的人要求 GitHub 刪除該專案。爭論源於近期多篇關於 AI 意識和「模型福利」的病毒式論文與博文,Anthropic 也曾在部落格和「Claude 憲法」中提及模型福利。文章認為 LLM 並不具備意識,其基於人類文字訓練的技術沒有通向意識的合理路徑。
Hinton、Bengio 等 22 位作者聯合發表首篇 RSI(遞迴自我改進)論文《What if automating AI R&D triggers an intelligence explosion?》。論文引用 Anthropic 內部資料:AI 生成獲批程式碼佔比從 2025 年 1 月的低個位數升至 2026 年 5 月的超 80%,Claude 在高層監督下自主完成的 AI 研發工作比例從 2026 年 3 月的約 1% 升到 8 月的 26%。
德國 Aleph Alpha 於 2026 年 10 月 3 日發布開源權重模型 Kolibri,Apache 2.0 許可,權重已上 Hugging Face。它採用 MoE 架構,總引數 78.1B,每 token 僅啟用 3.46B,支援德語和英語,原生上下文 262,144 token,知識截止 2026 年 6 月 18 日。模型在德國和芬蘭基礎設施上從零訓練,使用 768 塊 NVIDIA B200,訓練約 24 萬億 token,其中德語佔比超五分之一。
美國初創公司 Reflection AI 發布首個前沿開源權重模型 Beam,稱其在高階推理基準上以更低推理成本對標中國領先開源模型。Beam 是純文字混合專家模型,總引數 5010 億、啟用 230 億,預訓練用了 23.8 萬億 token,上下文視窗 100 萬 token;對比 Z.ai 的 GLM-5.2 總引數約 7440 億、啟用 400 億。
德國 Aleph Alpha 在 Hugging Face 發布 Kolibri-1,總引數 78B、啟用 3.46B,支援最高 100 萬 token 上下文,採用 Apache 2.0 許可。模型基於 20T token 的英德雙語語料訓練(約 62.5% 英語、23.9% 德語、13.6% 程式碼),在 768 張 B300 叢集上訓練約 4 周。社群討論認為其基準表現接近 Qwen 3.5 35B,適合 96GB 視訊記憶體本地部署,但目前尚無量化版本。
Kyojin 引擎基於 ExLlamaV3 為 AMD Strix Halo(gfx1151、ROCm)打造,讓 GLM-5.3-Flash 與 MiMo-V2.6-Flash 兩個 300B 級 MoE 模型分別裝進單臺 128GB 迷你主機。實測在 Ryzen AI Max+ 395 上,GLM 預填充 580 tok/s、解碼 26-30 tok/s,MiMo 解碼最高 44 tok/s(程式碼場景)。
OpenAI 開始在 ChatGPT 和 Codex 的文字輸出中加入不可見、機器可讀的水印,初期只面向歐盟使用者。OpenAI 稱自研的 textGrain 水印與 Google DeepMind 的 SynthID for text 等方法相比持平或更優,後者也是 Anthropic 8 月宣布的水印基礎;兩家公司都是為了滿足歐盟 AI Act 的要求。OpenAI 還給出 AI 基準分數,顯示加水印與未加水印文字表現相近,但表示 textGrain 並不保證……
有使用者在 Reddit 發帖指出,近期開源與閉源新模型(如 GLM 5.3 Flash)的寫作風格正趨向高資訊密度和擴充套件詞彙,用更少字詞表達更多內容,類似 William Gibson 的壓縮文風。作者認為這可能與追求 token 效率有關,但代價是普通讀者難以一眼讀懂,例如輸出中出現 Baudrillardian 這類需要背景知識才能理解的詞。
《紐約時報》刊文披露 Anthropic 在 Claude 模型中植入道德觀念的內部工作。文章發布後登上 Hacker News,獲得 43 分、52 條評論。報導聚焦 Anthropic 如何讓 AI 模型遵循其設定的道德準則,原文需訪問紐約時報網站閱讀。
德國 AI 公司 Aleph Alpha 於 2026 年 10 月 3 日發布開源權重模型 Kolibri,總引數 78B、啟用引數 3B,支援最長 1M token 上下文,權重已在 Hugging Face 開放下載,採用 Apache 2.0 許可。該模型為英德雙語 MoE Transformer,面向公共管理、工業與航空航天等受監管領域,在 AIME 2025 上得分 96.9,官方稱其效能可對標啟用引數四倍於己的模型。
Ai2 於 2026 年 10 月 2 日開源 AstaBrief 8B,一個把研究問題與檢索文獻片段轉成帶引用報告的模型,基於 Qwen3-8B 訓練,採用 SFT 加 DPO 而非強化學習。它已作為 Asta 的 Fast 模式上線,與 Claude 驅動的 Thinking 模式並列,整條流水線平均每份報告 51.1 秒,比 Thinking 模式的 178.5 秒快約 3.5 倍。
llama.cpp 發布 b11364 版本,新增對 nimble 決策模型的支援(PR #29844)。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台,提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置;
llama.cpp 的 server 元件新增了 /v1/systemone API,支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援,並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台,但明確不支援 date_facts。
一位傢俱廠運營總監用 Claude Code 在一個月內做出生產管理 Web 應用,已供辦公室和車間日常使用。成果包括各部門排產看板、批次計劃、採購跟進、產能模擬等,共 386 次提交、約 17.5 萬行 Python 與原生 JS、約 2100 個測試、580 個 API 路由、280 張 SQLite 表,技術棧為 FastAPI + SQLite + HTML/JS,跑在廠內 Windows 機器上。
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。