找到 18 筆
Arena.ai 的 Code Arena 程式設計對戰中出現兩個匿名模型 Kibitz 與 Kalmia，社群普遍認為分別是月之暗面的 Kimi K3.1 和阿里 Qwen 4。有人發現 Kimi 官方域名配置介面曾返回切換目標 k3.1（當晚即被撤回），且 Kibitz 對 11 個用於識別 Moonshot 模型的特殊 token 均出現亂碼，與以往 Kimi 模型表現一致。成本上，Kibitz 完成同樣任務的 token 成本約為 GPT-6 Astra 的 1/14；
阿里千問與俄亥俄州立大學提出 TRACE，用 Rollout 側真實 FP4 量化結果指導訓練側舍入方向，在四個 Qwen MoE 模型上把聯合 FP4 權重啟用與 FP4 KV Cache 的 RL 效能拉回 BF16 水平。Qwen3.5-35B-A3B 平均分 75.3，高於 BF16 Rollout 的 74.9，遠超普通 QAT 的 59.6 和 QUADS 的 68.8；128K 輸出長度下解碼吞吐最高提升 5.4 倍，端到端 RL step 僅增約 7.4% 開銷。
LM Studio 發布 v0.34.4，思考模型的結構化輸出改為單次處理，速度與可靠性提升。該版本修復了本地模型庫較大時偶發的 model not found 錯誤，以及 macOS 應用在檢測 ChatGPT 或 Codex 是否執行時無回應的問題。Apple Silicon 上 Qwen 3.8 提示處理更快，Gemma 4 會按圖選擇最佳解析度以保留高解析度細節，同時更新了 llama.cpp、MLX 與 XGrammar。
MLX 今日發布新版本，支援用 RDMA over Thunderbolt 把多臺 Mac Studio 組成叢集：4 臺 M5 Ultra 執行近萬億引數的 Muse Spark Open（816B MoE，NVFP4 精度）解碼超過 36 tokens/s，高於人類平均閱讀速度。單臺 512GB Mac Studio 可跑 Qwen 3.8 27B 與 Mistral Medium 3.5 128B，在 65,536 上下文下分別佔用最多 68GB 和 158GB 記憶體。
把輸出詞表限制在 A–E 等固定選項上、一次前向取最高機率 token，就能讓語言模型直接作答而無需逐 token 生成。作者用 Qwen/Qwen3-1.7B 復現該「決策模型」做法，在 CommonsenseQA 隨機留出樣本上準確率 59.4%、macro F1 0.584，微調後提升到 62.4%。但輸出機率不等於正確率：模型明顯過度自信，0.9–1.0 置信區間實際正確率僅 70%，用溫度縮放擬合出 T≈3.80 來校準。
TypeSafe AI 的 Jev 模型近期走紅，其介面可直接返回預設選項、分數或事件機率，供程式碼呼叫，但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score，僅用對錯標籤即可訓練置信度機率分佈，在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884，4 張 A40 上約 4 分鐘完成微調。
優必選 Thinker-WM 在 WorldOlympiad、EWMBench、WorldArena Track-1 三項具身世界模型基準評測中均列第一，WorldOlympiad 綜合得分 0.740，EWMBench 總分 4.66，超過 Qwen-RobotWorld、Sora2 等模型。
優必選 Thinker-WM 在 WorldOlympiad、EWMBench、WorldArena1.0 Track-1 三大具身世界模型基準中均位列第一，其中 WorldOlympiad 綜合得分 0.740，EWMBench 綜合總分 4.66，超過 Qwen-RobotWorld、Sora2 等模型。
Reddit 的 r/LocalLLaMA 版塊一則帖子下，使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢，可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上；也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
Reflection 發布首個開放權重模型 Beam：稀疏 MoE，總引數 501B、啟用 23B，面向程式設計、推理與 agentic 負載。預訓練使用 23.8 萬億 token，RL 階段動用 10.5K 塊 NVIDIA GB300 訓練 4 周、生成超 1 億條 rollout、約 13 億個沙箱，官方稱是開放實驗室中規模最大的 RL 訓練之一。評測中其與 GLM 5.2 相當但推理算力少 3–4 倍，接近 Qwen 3.8-Max，原始能力仍落後 Kimi K3；
llama.cpp 合併多項改動，將 indexer 分數視訊記憶體佔用減半：原先同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，現改為逐頭計算並原地累加為單個 [n_pool, n_tokens] 分數。同時 CUDA 支援 4 頭、Metal 以函式常量讀取頭數、Vulkan 按 64 鍵×8 token 分塊並改用 fp16 點積，indexer 改為呼叫 ggml_lightning_indexer 且鍵只讀一次。
Meta 發布 30B 開源模型 Muse Glimmer，採用 Apache 2.0 許可，發布當天即可在 LM Studio Bionic 中下載並本地執行。該模型面向本地 agent 工作流，支援多步任務、工具呼叫與影像輸入，可在 Mac 和 PC 上執行。在 LM Studio 內部評測 BionicBench v0.1 的 18 項任務中完成率 83.3%，高於 Gemma 4 31B 與 Qwen 3.6 27B 的 77.7%。
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上，用 11.4 GB 共享記憶體把主機變成家用模型伺服器，對外提供 OpenAI 與 Anthropic 介面，Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒，27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文；
一名使用者為 Qwen3.8 27B 搭建 RAG 搜尋節點，在 AliExpress 購買迷你主機，商家標稱 Intel N150 與 DDR4/DDR5，實際發貨為 2018 年的 Core i3-7020U（2 核 4 執行緒）加 DDR3 1600MHz。賣家還把 New_N150 寫進 BIOS 版本字串偽裝型號。該主機效能不足以支撐向量檢索，使用者已發起信用卡拒付。
官方只支援 Windows 的 ASUS ProArt P16（128GB 記憶體版）已被裝上 Arch Linux ARM 並能正常使用。作者基於 NVIDIA 面向 Ubuntu 的核心工作，補齊 ACPI 覆蓋、hid-asus 鍵盤與音訊驅動，做出可啟動映象，並擴充套件 Archinstall 4.5 來安裝硬體支援；7-Zip 單執行緒成績與 Windows 基本持平，20 執行緒壓縮約領先 5%、解壓約領先 3%。
Qwen3.8-27B 已在 iPhone 18 的 Apple Neural Engine 上執行，解碼速度 15–60 tok/s；作者隨後確認 24K 上下文下 K/V 用 int8、delta net 保持 FP16，峰值可達 70 tok/s。模型基座是 PrismML 的 Bonsai-2，從 1.585 bpw 重新量化為 1.5 bpw（每 4 個權重 6 位向量量化），並加入約 2.8 bpw 的 dflash-2 草稿模型加速，代價是接受率小幅下降。
德國 Aleph Alpha 在 Hugging Face 發布 Kolibri-1，總引數 78B、啟用 3.46B，支援最高 100 萬 token 上下文，採用 Apache 2.0 許可。模型基於 20T token 的英德雙語語料訓練（約 62.5% 英語、23.9% 德語、13.6% 程式碼），在 768 張 B300 叢集上訓練約 4 周。社群討論認為其基準表現接近 Qwen 3.5 35B，適合 96GB 視訊記憶體本地部署，但目前尚無量化版本。
r/LocalLLaMA 社群討論過去一週的 jev 模型熱潮是否該翻篇，並分享實際用例。有使用者用 jev 做論文證據定位和倉庫惡意行為掃描，也有使用者將其接入語音桌遊引擎，用 decider 4b 替代 Gemma 雙階段流程後延遲從 4-8 秒降至 2-3 秒。但有人實測 jev 及同類模型準確率持續低於 80%，而 Qwen 3.8 27B 達 95%、100b+ 模型達 100%。