AISpot

搜尋

依意思最接近的 30 筆

r/LocalLLaMA top of the dayAI 評分68

Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s

有人在 Windows 上用 llama.cpp 的專家流式方案,在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B(UD-IQ3_XXS),基準約 11.5 tok/s,日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token,產出一個可執行的單檔案貪吃蛇遊戲。

Simon Willison● 精選AI 評分66

Qwen3.8 27B 在 DGX Spark 復現文字加法實驗,169 題答對 167

有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗:讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf,經 Codex Remote(GPT-6 Astra)執行,關閉推理時每組組合跑 30 次嘗試,開啟推理後每組只跑一次,169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。

Hacker News front pageAI 評分62

Strata 讓 125B 的 Qwen3.8-Flash-Next 在消費級顯示卡上執行

開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next,支援聊天、寫程式碼、讀圖和接入 coding agent,資料不出本機。官方實測 RTX 5070(12GB)在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s;RTX 3090(24GB)預計可達 100-140 tokens/s。

Hacker News front pageAI 評分64

用 Qwen3-1.7B 單次前向做選項決策,CommonsenseQA 準確率 59.4%

把輸出詞表限制在 A–E 等固定選項上、一次前向取最高機率 token,就能讓語言模型直接作答而無需逐 token 生成。作者用 Qwen/Qwen3-1.7B 復現該「決策模型」做法,在 CommonsenseQA 隨機留出樣本上準確率 59.4%、macro F1 0.584,微調後提升到 62.4%。但輸出機率不等於正確率:模型明顯過度自信,0.9–1.0 置信區間實際正確率僅 70%,用溫度縮放擬合出 T≈3.80 來校準。

r/LocalLLaMA top of the dayAI 評分43

Strata 搭配 Qwen3.8 Next 在 DDR4 平台跑出 45-70t/s

有使用者報告,用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重(接近 80GB),在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s,編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s,且該使用者認為品質明顯更好,但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果,DDR5 平台則顯著更快。

X @Alibaba_QwenAI 評分6

阿里 Qwen 官方帳號發圖,正文無文字說明

阿里 Qwen 官方 X 帳號在 2026 年 10 月 9 日發布動態,正文只有「Pics:」一詞,隨附圖片,沒有任何文字說明。公開可見的文字裡沒有出現模型名稱、版本號、功能或發布時間,因此無法確認圖片指向哪款產品或更新。要了解具體內容只能檢視原帖圖片,後續說明有待官方補充。

Hugging Face blog● 精選AI 評分78

用 ML Intern 幾天做出 6 個模型,9B 改寫器壓到 0.8B

Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent,幾天內做出 6 個公開模型,其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本,可在 CPU 執行,輸出有效率 99.7%,token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本,算力成本 16 美元。

r/LocalLLaMA top of the dayAI 評分61

gufo 分支在 Strix Halo 上跑 Qwen3.6 35B A3B,prefill 達 3095tok/s

開發者 nubela 發布 gufo 分支 gufo-Qwen3.6-35B-A3B-Q6dense,在 Strix Halo 上實現 3095 tok/s prefill、190 tok/s decode,目標為 3000 tok/s prefill 與 150 tok/s decode。該分支為 Qwen3.6 35B A3B 增加支援,面向優先速度而非智慧的負載;作者自行量化模型並以 Apache 2.0 發布,稱 unsloth 的 GGUF 也可用但效能較低。

r/LocalLLaMA top of the dayAI 評分11

r/LocalLLaMA 熱議 8GB 視訊記憶體跑本地模型的困境

Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除,評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5,也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp,未來或支援從磁碟流式載入專家。

X @Alibaba_Qwen● 精選AI 評分69

阿里 Qwen 發布 QwenGyre,為超長週期 agent 訓練引入彈性 RL

阿里 Qwen 發布 QwenGyre,把彈性強化學習引入超長週期(XLong)agent 訓練,核心是彈性排程器與軌跡處理器兩項設計。彈性排程器按需求在 rollout 與訓練間動態重分配 GPU,執行不中斷,相比 Colocate 最高提速 1.85 倍、比 Async 快 1.78 倍;軌跡處理器把分支執行整理成字首共享的軌跡樹,去重並限制訓練樣本量,超時後的部分進度也能評分。

X @ggerganov● 精選AI 評分75

llama.cpp v0.6.0 支援 DFlash,Qwen3.8-27B 推理提速

llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash,以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF,並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度,只強調必須使用最新版本。

llama.cpp releasesAI 評分43

llama.cpp 為 Hexagon NPU 增加 q2_k 與 q3_k 量化支援

llama.cpp 合併 PR #29717,為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援,並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交,面向在驍龍 Hexagon NPU 上執行本地推理的使用者,相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。

The Verge AIAI 評分67

微軟發布第三代自研 AI 晶片 Maia 300,2027 年投產

微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。

r/LocalLLaMA top of the day● 精選AI 評分80

微軟發布 4B 程式設計智慧體模型 FrogNano

微軟推出 FrogNano-4B-2609,一個面向低視訊記憶體裝置的程式設計智慧體模型,基於 Qwen3.5-4B 後訓練而來。其額外訓練為純文字、聚焦倉庫級軟體工程,用約 1500 個合成 SWE 任務環境和基於可執行測試的獎勵做強化學習,不依賴更強模型的解題軌跡蒸餾。模型需配合 Leaf 工具框架生成結構化工具呼叫,產出的補丁須經人工審查、迴歸測試與安全驗證後才能使用。

機器之心● 精選AI 評分72

新基準 VA-Bench 測 12 個多模態模型,完整任務成功率約一半

VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型,發現目標識別與定位可達 100%、操作語義理解接近 100%,但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片,但拿不到物體座標與專家軌跡,需自行決定是否消耗步數切換視角,並直接給出移動距離、旋轉角度與夾爪開合時機。

X @Alibaba_Qwen● 精選AI 評分79

阿里開源 Qwen-Image-2.1-Turbo:8 步去噪出圖與編輯

阿里發布 Qwen-Image-2.1-Turbo,這是基於 Qwen-Image-2.1 的加速 checkpoint,只需 8 步去噪即可生成和編輯影像,權重已在 ModelScope 與 Hugging Face 開放。它沿用同一 7B 視覺生成架構,官方稱步數減少不犧牲品質,仍可從文字生成 2K 影像,並支援用自然語言繼續編輯,例如新增配飾或更換場景。Diffusers 中載入 QwenImage21Pipeline 即可使用推薦的 8 步取樣;

r/LocalLLaMA top of the dayAI 評分42

RTX5090 專用推理引擎 MegaCapybara 發布,速度約為 Ninfer 兩倍

作者發布專為 RTX5090 打造的推理引擎 MegaCapybara,聚焦 Qwen3.8 27B,解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍:單任務編碼可達 500+ t/s,12 個 agent 併發、800k 上下文時可達 2000+ t/s。引擎具備 VRAM-RAM-DISC 快取管理、雙層 Loop Guard、帶後設資料的自研權重格式(可對比 BF16 顯示 KL 與 top-1% 損失)以及圖形介面,採用 MIT 許可,原始碼與權重建置器後續發布。

r/LocalLLaMA top of the dayAI 評分19

阿里買迷你主機搭 Qwen3.8 RAG,收到 2018 年舊 CPU

一名使用者為 Qwen3.8 27B 搭建 RAG 搜尋節點,在 AliExpress 購買迷你主機,商家標稱 Intel N150 與 DDR4/DDR5,實際發貨為 2018 年的 Core i3-7020U(2 核 4 執行緒)加 DDR3 1600MHz。賣家還把 New_N150 寫進 BIOS 版本字串偽裝型號。該主機效能不足以支撐向量檢索,使用者已發起信用卡拒付。

Google Developers blogAI 評分60

Google Cloud 開源 AQuA,為生產環境 agent 做品質診斷

Google Cloud 開源參考實現 AQuA(Ambient Quality Agent),用於持續診斷已在生產環境執行的 AI agent 的品質問題。它與生產 agent 並排執行,掃描失敗聚類並對照對話記錄逐條驗證,再把根因定位到當時實際部署的原始碼快照。它針對的場景是:agent 做到 80% 之後難以繼續改進,且靜默的品質回退仍然返回 HTTP 200 OK。

Ollama releases● 精選AI 評分79

Ollama v0.40.0 在 Apple Silicon 上預設用 MLX 執行模型

Ollama 發布 v0.40.0:在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。本次納入 MLX 的模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已支援。可用 ollama pull / run qwen3.8 拉取與執行,官方稱將繼續啟用更多模型。

r/LocalLLaMA top of the day● 精選AI 評分80

Aleph Alpha 發布 Kolibri-1:78B 引數 MoE 開源模型,Apache 2.0

德國 Aleph Alpha 在 Hugging Face 發布 Kolibri-1,總引數 78B、啟用 3.46B,支援最高 100 萬 token 上下文,採用 Apache 2.0 許可。模型基於 20T token 的英德雙語語料訓練(約 62.5% 英語、23.9% 德語、13.6% 程式碼),在 768 張 B300 叢集上訓練約 4 周。社群討論認為其基準表現接近 Qwen 3.5 35B,適合 96GB 視訊記憶體本地部署,但目前尚無量化版本。

機器之心● 精選AI 評分78

8B 智慧體自主呼叫工具做影片生成,VABench 從 56.5 升到 86.1

VideoGen-Agent 用 Qwen3-VL-8B-Instruct 做基座,在多輪互動中呼叫檢索、生成與驗證工具,先以 16K 教師軌跡監督微調,再用 8K 提示做多工強化學習。在 600 條提示的 VABench 上,Toolset 1 配置得 75.6 分,比基礎生成器 56.5 分高出 19.1 分;智慧體策略不變、僅升級生成工具後達 86.1 分,人類評估中 84.3% 的判斷偏好該配置。