Qwen3.5 4B 權重內嵌 RISC-V CPU,用 GDN 層當記憶體
實驗模型 Qwenputer 在 Qwen3.5 4B 權重裡編譯進一顆 32 位 RISC-V CPU(RV32IM 加 Zba 擴充套件),以 Gated DeltaNet 注意力層的狀態矩陣當 RAM。CPU 佔模型 32 層中的前 11 層,全程不訓練,權重由編譯器直接寫入;它已通過官方 riscv-tests,程式結果與 qemu 一致,自由執行 1800 萬條指令無差錯,能跑 C 和 MicroPython,但還不到跑 Linux 的程度。
把 CPU 直接編譯進權重、拿線性注意力狀態當可定址記憶體,且不經訓練就通過 riscv-tests、連跑 1800 萬條指令無錯,為關注模型內部機制與可解釋性的人提供了一個罕見的實測樣本。
原標題:Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
閱讀原文
| 評分 | 80 / 84(平均 82,門檻 76) |
|---|---|
| 狀態 | 精選 |
相關報導
GVS5H 讓五個 Qwen3.8-27B 例項協作,LiveCodeBench 達 92.4%
本地部署的開源 Qwen3.8-27B 用上 GVS5H 後,在 LiveCodeBench 最新 100 道 hard 題上的 pass@1 從 66.8% 升到 92.4%。該方法不需要訓練:同一模型開五個例項,通過共享檔案系統裡的計劃、筆記與當前解來拆解問題並協調,在固定後端上最多帶來 25.6 個百分點提升。雲端編排的 Qwen3.8 Flash Next 達到 93.0%,高於 Fable 5 的 90.4%,成本僅為其 9%。收益並不普遍,部分模型持平或變差;
LocalLLaMA 網友曬本地跑模型硬體方案
Reddit 的 r/LocalLLaMA 版塊一則帖子下,使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢,可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上;也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
r/LocalLLaMA 熱議 8GB 視訊記憶體跑本地模型的困境
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除,評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5,也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp,未來或支援從磁碟流式載入專家。
Qwen3.8 27B 在 DGX Spark 復現文字加法實驗,169 題答對 167
有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗:讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf,經 Codex Remote(GPT-6 Astra)執行,關閉推理時每組組合跑 30 次嘗試,開啟推理後每組只跑一次,169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。
360M 模型微調成終端,可在瀏覽器跑 vim 與貪吃蛇
作者用 Qwen2.5-Coder-0.5B 微調出 360M 引數模型 WorldTUI,它背後沒有 shell 和檔案系統,只根據每次按鍵預測終端螢幕變化,能建立檔案、執行 vim 與 tmux、玩貪吃蛇。訓練資料由 Docker 中錄製的真實終端會話合成,共 33.6 萬段、約 20 億 token,其中 35% 的會話從任務中途開始;推理使用僅 333 個 token 的小詞表,COPY 行操作把滾動重繪從約 3000 token 降到每行 3 個。