為什麼嵌入模型常用 1536 維？
有開發者提問，為什麼嵌入模型常選 1536 維，而不是 1024 或 2048。OpenAI 使用過 1536 維嵌入，其他廠商也提供或推薦這一維度。提問者想知道這是 1024 與 2048 之間經驗性的折中點，還是存在架構或硬體上的便利原因，並希望有實際訓練或設計過嵌入模型的人回答。
原標題：Why 1536 dimensions?
閱讀原文
| 評分 | 42 / 42（平均 42，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
8GB 視訊記憶體使用者期待 Qwen4 35B A3B 等本地模型
一位只有 8GB 視訊記憶體和 16GB 記憶體的使用者在社群表示，只能期待 Qwen4 35B A3B 或類似模型，並希望藉助額外 n-gram 把 35B 擴充套件到 70B 以上。在此之前，他仍偏愛 Gemma 26B QAT，稱其速度穩定在 26 Tg/s。
r/LocalLLaMA 熱議低位元量化對編碼任務的影響
r/LocalLLaMA 上一則帖子引發討論：FP8/BF16 使用者看到有人跑 IQ1_S 量化感到震驚。多位使用者指出，IQ1/IQ2 這類極端量化只適合創意寫作或閒聊，用於編碼、複雜邏輯推理或結構化 JSON 提取時困惑度飆升、語法和邏輯明顯崩壞；而 Q4_K_M 或 Q5_K_M 通常是多數模型的甜點區，困惑度曲線相對平坦、視訊記憶體佔用大幅下降且推理能力幾乎無損。
Kyojin 引擎讓兩臺 300B MoE 模型各跑在單臺 128GB Strix Halo 上
基於 ExLlamaV3 的 Kyojin 引擎在 AMD Strix Halo（gfx1151、ROCm）上讓兩個 300B 級 MoE 模型各裝進一臺 128GB 迷你主機：GLM-5.3-Flash 佔 99.7GB，3.5K 上下文預填充 580 tok/s，解碼 26 到 30 tok/s；MiMo-V2.6-Flash 佔 105GB，解碼最高 44 tok/s（程式碼場景）。
開發者開源二戰主題小模型 Peacebell，291M 與 148M 兩版
開發者 Wayne Workman 用 11 個月業餘時間從零訓練了專注二戰資訊的小語言模型 Peacebell，已開源權重與訓練材料，含 291M 和 148M 兩個引數版本。148M 版是為參加 HuggingFace 限制 150M 以內模型規模的榜單而做，同時發布了 WWII 主題基準 ww2bench，題目不公開以防進入訓練資料。模型可在 CPU 上執行，作者提供了定製 vLLM fork，並稱其長上下文表現較差，下一版預計 2027 年發布。
新模型寫作風格趨向高資訊密度與生僻詞彙
有使用者觀察到，近期開源與閉源模型（如 GLM 5.3 Flash）的寫作風格正趨向高資訊密度和更豐富的詞彙，用更少的詞表達更多內容，類似 William Gibson 的壓縮文風。作者認為這可能與 token 效率最佳化有關，但代價是普通讀者難以一眼讀懂，例如模型會使用 Baudrillardian 這類生僻詞。