搜尋 關鍵字 語意 依意思最接近的 30 筆
r/LocalLLaMA top of the day10/3 03:12 AI 評分43
有使用者報告,用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重(接近 80GB),在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s,編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s,且該使用者認為品質明顯更好,但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果,DDR5 平台則顯著更快。
X @Alibaba_Qwen10/14 03:43 AI 評分33
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績:Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻,並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
r/LocalLLaMA top of the day10/3 06:49 AI 評分68
有人在 Windows 上用 llama.cpp 的專家流式方案,在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B(UD-IQ3_XXS),基準約 11.5 tok/s,日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token,產出一個可執行的單檔案貪吃蛇遊戲。
X @Alibaba_Qwen10/9 03:36 AI 評分43
阿里 Qwen 宣布,Qwen3.8-Max、Qwen3.8-Flash 與 Wan3.0 在 GMI Cloud 上限時免費開放一週,活動已經上線。開發者可在此期間免費呼叫這三款模型進行建置與測試,官方在推文中邀請開發者探索可行的用法。
Hacker News front page10/4 12:51 AI 評分62
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next,支援聊天、寫程式碼、讀圖和接入 coding agent,資料不出本機。官方實測 RTX 5070(12GB)在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s;RTX 3090(24GB)預計可達 100-140 tokens/s。
llama.cpp releases10/13 15:24 AI 評分43
llama.cpp 發布 b11588 建置,讓 Qwen3.8 Flash Next 模型可以接受影像嵌入(image embds)用於 MTP,該改動延續 #30257 並關閉 #30307。
X @Alibaba_Qwen● 精選 10/12 13:11 AI 評分69
阿里 Qwen 發布 QwenGyre,把彈性強化學習引入超長週期(XLong)agent 訓練,核心是彈性排程器與軌跡處理器兩項設計。彈性排程器按需求在 rollout 與訓練間動態重分配 GPU,執行不中斷,相比 Colocate 最高提速 1.85 倍、比 Async 快 1.78 倍;軌跡處理器把分支執行整理成字首共享的軌跡樹,去重並限制訓練樣本量,超時後的部分進度也能評分。
The Verge AI10/12 13:00 AI 評分67
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
X @Alibaba_Qwen10/9 13:24 AI 評分6
阿里 Qwen 官方 X 帳號在 2026 年 10 月 9 日發布動態,正文只有「Pics:」一詞,隨附圖片,沒有任何文字說明。公開可見的文字裡沒有出現模型名稱、版本號、功能或發布時間,因此無法確認圖片指向哪款產品或更新。要了解具體內容只能檢視原帖圖片,後續說明有待官方補充。
X @Alibaba_Qwen10/12 13:11 AI 評分19
阿里 Qwen 團隊公布 QwenGyre,稱其針對超長程(XLong-horizon)agentic 強化學習的兩大挑戰。原帖僅給出這一句說明,未指出兩項挑戰具體是什麼,也沒有提到模型規模、評測資料或可用時間。
Simon Willison● 精選 10/4 23:34 AI 評分66
有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗:讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf,經 Codex Remote(GPT-6 Astra)執行,關閉推理時每組組合跑 30 次嘗試,開啟推理後每組只跑一次,169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。
X @ggerganov● 精選 10/6 13:27 AI 評分75
llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash,以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF,並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度,只強調必須使用最新版本。
r/LocalLLaMA top of the day10/3 06:18 AI 評分70
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體,把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB,262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變,僅分數因 fp32 舍入有差異;有使用者反饋解碼速度約降 10%。
llama.cpp releases10/2 13:11 AI 評分43
llama.cpp 合併 PR #29717,為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援,並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交,面向在驍龍 Hexagon NPU 上執行本地推理的使用者,相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。
r/LocalLLaMA top of the day10/3 01:58 AI 評分27
Reddit 的 r/LocalLLaMA 版塊一則帖子下,使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢,可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上;也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
r/LocalLLaMA top of the day● 精選 10/2 20:16 AI 評分80
微軟推出 FrogNano-4B-2609,一個面向低視訊記憶體裝置的程式設計智慧體模型,基於 Qwen3.5-4B 後訓練而來。其額外訓練為純文字、聚焦倉庫級軟體工程,用約 1500 個合成 SWE 任務環境和基於可執行測試的獎勵做強化學習,不依賴更強模型的解題軌跡蒸餾。模型需配合 Leaf 工具框架生成結構化工具呼叫,產出的補丁須經人工審查、迴歸測試與安全驗證後才能使用。
r/LocalLLaMA top of the day10/3 06:13 AI 評分61
開發者 nubela 發布 gufo 分支 gufo-Qwen3.6-35B-A3B-Q6dense,在 Strix Halo 上實現 3095 tok/s prefill、190 tok/s decode,目標為 3000 tok/s prefill 與 150 tok/s decode。該分支為 Qwen3.6 35B A3B 增加支援,面向優先速度而非智慧的負載;作者自行量化模型並以 Apache 2.0 發布,稱 unsloth 的 GGUF 也可用但效能較低。
Hacker News front page● 精選 10/12 22:05 AI 評分76
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家,在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
X @Alibaba_Qwen10/9 06:03 AI 評分6
阿里通義千問官方帳號 @Alibaba_Qwen 發布推文,向 @gmi_cloud 表示感謝。原文只有一句致謝,未說明雙方合作內容、涉及的具體模型或產品,也沒有給出時間、價格、額度等資訊。
r/LocalLLaMA top of the day● 精選 10/2 21:47 AI 評分80
有人在單張 RTX PRO 6000 上對三個 Qwen3.8 檢查點做了 10 項測試:RadixArk 27B NVFP4、orcarouter 27B Uncensored NVFP4 和 Flash-Next NVFP4。27B 配 DFlash2 草稿模型後 Spec-Bench 從 75 提到 210 tok/s,約 2.8 倍;SGLang 整體快於 vLLM,但同一匯出上 vLLM 快 16%。
llama.cpp releases10/2 22:23 AI 評分37
llama.cpp 發布 b11352 建置版本,主要變更為最佳化 Qwen4 的掩碼構造(#29824),並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台,提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置,其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。
Google Developers blog10/8 22:10 AI 評分60
Google Cloud 開源參考實現 AQuA(Ambient Quality Agent),用於持續診斷已在生產環境執行的 AI agent 的品質問題。它與生產 agent 並排執行,掃描失敗聚類並對照對話記錄逐條驗證,再把根因定位到當時實際部署的原始碼快照。它針對的場景是:agent 做到 80% 之後難以繼續改進,且靜默的品質回退仍然返回 HTTP 200 OK。
r/LocalLLaMA top of the day10/3 14:16 AI 評分11
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除,評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5,也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp,未來或支援從磁碟流式載入專家。
TechCrunch AI10/13 23:00 AI 評分51
舊金山初創公司 Industrial Next 在 TechCrunch Disrupt 2026 上宣布與 BMW 集團技術辦公室合作,評估其 AI 靈巧操作技術用於製造。該公司由兩位前特斯拉工程師於 2021 年創立,做的是基於自研基礎模型的機器人工作站,把視覺、任務上下文與運動控制打通,用高保真模擬訓練,產線換型從數週縮短到數分鐘,無需傳統程式設計。其工作站已在某款熱門手機的生產中使用,負責柔性排線穿線、聯結器扣合等此前難以自動化的工序;
NVIDIA blog● 精選 10/7 18:45 AI 評分88
NVIDIA 與微軟在舊金山活動上發布 RTX Spark,把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦,筆記本即日預售、10 月 16 日發售,桌上型電腦 11 月上市。
X @Alibaba_Qwen10/9 13:24 AI 評分4
阿里巴巴 Qwen 官方 X 帳號在 2026 年 10 月 9 日發布的這條動態,正文只有一條 Edit(編輯)標記,沒有留下任何模型、產品、價格或功能資訊。原始資料未提供可報導的事實,無法確認被編輯掉的原文涉及哪項更新。
Ollama releases● 精選 10/6 01:53 AI 評分79
Ollama 發布 v0.40.0:在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。本次納入 MLX 的模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已支援。可用 ollama pull / run qwen3.8 拉取與執行,官方稱將繼續啟用更多模型。
X @ggerganov● 精選 10/5 19:24 AI 評分77
llama.cpp 發布 v0.6.0,作者 ggerganov 列出了這一版的主要更新:新增 Clef 支援,涵蓋文字與視覺;對 Qwen3.8-Flash-Next 提供高品質支援;Metal 後端效能大幅提升;並引入新的 llama_batch_ext API。配套官網也完成改版,地址為 llama.app。原文未給出各項改動的具體效能數字。
r/LocalLLaMA top of the day10/3 01:33 AI 評分42
作者發布專為 RTX5090 打造的推理引擎 MegaCapybara,聚焦 Qwen3.8 27B,解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍:單任務編碼可達 500+ t/s,12 個 agent 併發、800k 上下文時可達 2000+ t/s。引擎具備 VRAM-RAM-DISC 快取管理、雙層 Loop Guard、帶後設資料的自研權重格式(可對比 BF16 顯示 KL 與 top-1% 損失)以及圖形介面,採用 MIT 許可,原始碼與權重建置器後續發布。
r/LocalLLaMA top of the day10/3 18:58 AI 評分75
開發者 roofkid 發布 Ninfer 4080,在 RTX 4080 16GB 上以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ,實測最高 prefill 2720 tok/s、生成 262 tok/s。專案採用 DFlash2 推測解碼與 KV 壓縮,程式碼已在 GitHub 開源並提供 Docker 映象。