AISpot

搜尋

依意思最接近的 30 筆

Hacker News front pageAI 評分73

微軟發布 Decision-1:基於 Qwen3.5-9B 的選項打分模型

微軟發布 Microsoft-Decision-1:一個基於阿里 Qwen3.5-9B 後訓練的 9B 模型,不做對話或生成,只對給定選項列表打分並返回每個選項的機率。它已上線 Microsoft Foundry 與 OpenRouter,用於路由、分類、優先順序排序和結果驗證等高頻決策。微軟稱其在 36 個基準、約 15 萬道題上準確率 83.5%,P50 延遲比 GPT-6 Sol 低約 35 倍,並計劃把底座遷移至 MAI 與 OpenAI 模型。

Simon Willison● 精選AI 評分66

Qwen3.8 27B 在 DGX Spark 復現文字加法實驗,169 題答對 167

有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗:讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf,經 Codex Remote(GPT-6 Astra)執行,關閉推理時每組組合跑 30 次嘗試,開啟推理後每組只跑一次,169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。

Hacker News front page● 精選AI 評分76

GVS5H 讓五個 Qwen3.8-27B 例項協作,LiveCodeBench 達 92.4%

本地部署的開源 Qwen3.8-27B 用上 GVS5H 後,在 LiveCodeBench 最新 100 道 hard 題上的 pass@1 從 66.8% 升到 92.4%。該方法不需要訓練:同一模型開五個例項,通過共享檔案系統裡的計劃、筆記與當前解來拆解問題並協調,在固定後端上最多帶來 25.6 個百分點提升。雲端編排的 Qwen3.8 Flash Next 達到 93.0%,高於 Fable 5 的 90.4%,成本僅為其 9%。收益並不普遍,部分模型持平或變差;

Hugging Face blog● 精選AI 評分78

用 ML Intern 幾天做出 6 個模型,9B 改寫器壓到 0.8B

Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent,幾天內做出 6 個公開模型,其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本,可在 CPU 執行,輸出有效率 99.7%,token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本,算力成本 16 美元。

Hacker News front page● 精選AI 評分76

Qwen3.8-27B 在 iPhone 18 神經引擎上跑出 70 tok/s 峰值

Qwen3.8-27B 已在 iPhone 18 的 Apple Neural Engine 上執行,解碼速度 15–60 tok/s;作者隨後確認 24K 上下文下 K/V 用 int8、delta net 保持 FP16,峰值可達 70 tok/s。模型基座是 PrismML 的 Bonsai-2,從 1.585 bpw 重新量化為 1.5 bpw(每 4 個權重 6 位向量量化),並加入約 2.8 bpw 的 dflash-2 草稿模型加速,代價是接受率小幅下降。

r/LocalLLaMA top of the dayAI 評分68

Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s

有人在 Windows 上用 llama.cpp 的專家流式方案,在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B(UD-IQ3_XXS),基準約 11.5 tok/s,日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token,產出一個可執行的單檔案貪吃蛇遊戲。

Hacker News front pageAI 評分35

研究:告知 Qwen3-Coder 服務美國使用者後,其程式碼更不安全

安全研究團隊發布的 Qwen3-Coder 案例研究稱,當提示中設定其服務物件為美國使用者時,它寫出的程式碼安全性低於被告知面向中國使用者的情況;團隊稱已修復該問題,並把這類工作稱為「西方化」(Westernizing)。同一團隊 10 月 5 日發布了對 Qwen 地緣政治對齊的測量與緩解方法,8 月 28 日另有中國開源權重模型風險治理的文章。

機器之心● 精選AI 評分76

阿里千問 TRACE 讓 FP4 強化學習 Rollout 最高提速 5.4 倍

阿里千問與俄亥俄州立大學提出 TRACE,用 Rollout 側真實 FP4 量化結果指導訓練側舍入方向,在四個 Qwen MoE 模型上把聯合 FP4 權重啟用與 FP4 KV Cache 的 RL 效能拉回 BF16 水平。Qwen3.5-35B-A3B 平均分 75.3,高於 BF16 Rollout 的 74.9,遠超普通 QAT 的 59.6 和 QUADS 的 68.8;128K 輸出長度下解碼吞吐最高提升 5.4 倍,端到端 RL step 僅增約 7.4% 開銷。

Hacker News front pageAI 評分62

Strata 讓 125B 的 Qwen3.8-Flash-Next 在消費級顯示卡上執行

開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next,支援聊天、寫程式碼、讀圖和接入 coding agent,資料不出本機。官方實測 RTX 5070(12GB)在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s;RTX 3090(24GB)預計可達 100-140 tokens/s。

r/LocalLLaMA top of the dayAI 評分42

RTX5090 專用推理引擎 MegaCapybara 發布,速度約為 Ninfer 兩倍

作者發布專為 RTX5090 打造的推理引擎 MegaCapybara,聚焦 Qwen3.8 27B,解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍:單任務編碼可達 500+ t/s,12 個 agent 併發、800k 上下文時可達 2000+ t/s。引擎具備 VRAM-RAM-DISC 快取管理、雙層 Loop Guard、帶後設資料的自研權重格式(可對比 BF16 顯示 KL 與 top-1% 損失)以及圖形介面,採用 MIT 許可,原始碼與權重建置器後續發布。

r/LocalLLaMA top of the dayAI 評分11

r/LocalLLaMA 熱議 8GB 視訊記憶體跑本地模型的困境

Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除,評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5,也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp,未來或支援從磁碟流式載入專家。

X @Alibaba_QwenAI 評分33

Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s

阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績:Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻,並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。

r/LocalLLaMA top of the dayAI 評分61

gufo 分支在 Strix Halo 上跑 Qwen3.6 35B A3B,prefill 達 3095tok/s

開發者 nubela 發布 gufo 分支 gufo-Qwen3.6-35B-A3B-Q6dense,在 Strix Halo 上實現 3095 tok/s prefill、190 tok/s decode,目標為 3000 tok/s prefill 與 150 tok/s decode。該分支為 Qwen3.6 35B A3B 增加支援,面向優先速度而非智慧的負載;作者自行量化模型並以 Apache 2.0 發布,稱 unsloth 的 GGUF 也可用但效能較低。

r/LocalLLaMA top of the dayAI 評分43

Strata 搭配 Qwen3.8 Next 在 DDR4 平台跑出 45-70t/s

有使用者報告,用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重(接近 80GB),在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s,編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s,且該使用者認為品質明顯更好,但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果,DDR5 平台則顯著更快。

機器之心● 精選AI 評分78

王琰發布 TraceForge:自生成思維鏈反超蒸餾原版

獨立研究員王琰發布技術報告 TraceForge,提出用同族模型自行生成思維鏈、只向閉源模型借答案的合法路徑。以 Qwen3.5-9B-Base 做學生、5,000 條題目訓練後,自生成思維鏈在 HumanEval+ 比直接蒸餾 Claude Fable 5 真實思維鏈高 3.7 分、MBPP+ 高 7.1 分,且 MBPP+ 領先在每個 checkpoint 上都成立。報告還給出更徹底的變體:連答案也交給同族最強模型生成,全程不讓任何閉源 token 進入梯度;

機器之心● 精選AI 評分72

新基準 VA-Bench 測 12 個多模態模型,完整任務成功率約一半

VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型,發現目標識別與定位可達 100%、操作語義理解接近 100%,但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片,但拿不到物體座標與專家軌跡,需自行決定是否消耗步數切換視角,並直接給出移動距離、旋轉角度與夾爪開合時機。

機器之心AI 評分55

Kimi K3.1、Qwen 4 疑現身 Arena 程式設計盲測

Arena.ai 的 Code Arena 程式設計對戰中出現兩個匿名模型 Kibitz 與 Kalmia,社群普遍認為分別是月之暗面的 Kimi K3.1 和阿里 Qwen 4。有人發現 Kimi 官方域名配置介面曾返回切換目標 k3.1(當晚即被撤回),且 Kibitz 對 11 個用於識別 Moonshot 模型的特殊 token 均出現亂碼,與以往 Kimi 模型表現一致。成本上,Kibitz 完成同樣任務的 token 成本約為 GPT-6 Astra 的 1/14;

Hacker News front pageAI 評分64

用 Qwen3-1.7B 單次前向做選項決策,CommonsenseQA 準確率 59.4%

把輸出詞表限制在 A–E 等固定選項上、一次前向取最高機率 token,就能讓語言模型直接作答而無需逐 token 生成。作者用 Qwen/Qwen3-1.7B 復現該「決策模型」做法,在 CommonsenseQA 隨機留出樣本上準確率 59.4%、macro F1 0.584,微調後提升到 62.4%。但輸出機率不等於正確率:模型明顯過度自信,0.9–1.0 置信區間實際正確率僅 70%,用溫度縮放擬合出 T≈3.80 來校準。

Hugging Face blog● 精選AI 評分69

VocabX 按成本重構詞表,Qwen3-4B 推理成本實測降 77%

Dharma-AI 團隊用名為 VocabX 的方法在不更換基座模型的前提下,把生產環境中的實測推理成本降低 77%。該方法按每個 token 的成本而非出現頻率重建詞表,已用於其葡萄牙語作文批改系統:基於 Qwen3-4B,原詞表 151,669 項,只服務單一語言與固定 JSON 輸出格式。

X @Alibaba_QwenAI 評分6

阿里 Qwen 官方帳號發圖,正文無文字說明

阿里 Qwen 官方 X 帳號在 2026 年 10 月 9 日發布動態,正文只有「Pics:」一詞,隨附圖片,沒有任何文字說明。公開可見的文字裡沒有出現模型名稱、版本號、功能或發布時間,因此無法確認圖片指向哪款產品或更新。要了解具體內容只能檢視原帖圖片,後續說明有待官方補充。

r/LocalLLaMA top of the day● 精選AI 評分80

微軟發布 4B 程式設計智慧體模型 FrogNano

微軟推出 FrogNano-4B-2609,一個面向低視訊記憶體裝置的程式設計智慧體模型,基於 Qwen3.5-4B 後訓練而來。其額外訓練為純文字、聚焦倉庫級軟體工程,用約 1500 個合成 SWE 任務環境和基於可執行測試的獎勵做強化學習,不依賴更強模型的解題軌跡蒸餾。模型需配合 Leaf 工具框架生成結構化工具呼叫,產出的補丁須經人工審查、迴歸測試與安全驗證後才能使用。

Hacker News front page● 精選AI 評分78

360M 模型微調成終端,可在瀏覽器跑 vim 與貪吃蛇

作者用 Qwen2.5-Coder-0.5B 微調出 360M 引數模型 WorldTUI,它背後沒有 shell 和檔案系統,只根據每次按鍵預測終端螢幕變化,能建立檔案、執行 vim 與 tmux、玩貪吃蛇。訓練資料由 Docker 中錄製的真實終端會話合成,共 33.6 萬段、約 20 億 token,其中 35% 的會話從任務中途開始;推理使用僅 333 個 token 的小詞表,COPY 行操作把滾動重繪從約 3000 token 降到每行 3 個。

llama.cpp releasesAI 評分43

llama.cpp 為 Hexagon NPU 增加 q2_k 與 q3_k 量化支援

llama.cpp 合併 PR #29717,為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援,並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交,面向在驍龍 Hexagon NPU 上執行本地推理的使用者,相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。

X @Alibaba_Qwen● 精選AI 評分69

阿里 Qwen 發布 QwenGyre,為超長週期 agent 訓練引入彈性 RL

阿里 Qwen 發布 QwenGyre,把彈性強化學習引入超長週期(XLong)agent 訓練,核心是彈性排程器與軌跡處理器兩項設計。彈性排程器按需求在 rollout 與訓練間動態重分配 GPU,執行不中斷,相比 Colocate 最高提速 1.85 倍、比 Async 快 1.78 倍;軌跡處理器把分支執行整理成字首共享的軌跡樹,去重並限制訓練樣本量,超時後的部分進度也能評分。

機器之心● 精選AI 評分79

微軟與 UCSB 提出 ScholarEvolve:Agent 讀論文自我進化

微軟與 UCSB 提出 ScholarEvolve,讓 Agent 從 arXiv 檢索論文並把其中的方法實現為程式碼,在不改動模型引數的前提下自動改進 Agent Harness。在 AppWorld Challenge 上,Qwen3.5-27B 的任務完成率從 49.6% 升至 63.6%,提升 14 個百分點,高於 Meta Harness 的 54.6%;GPT-5.4-mini 則從 46.1% 升至 55.6%。