搜尋
找到 3 筆;也可以試試 語意搜尋
機器之心● 精選AI 評分84
開源專案 gpu-unlock-ada 通過修改 GPU 啟動階段的暫存器配置,讓 RTX 4090 在 FP16/BF16 輸入、FP32 累加的 Tensor Core 運算上,吞吐率從 165.6 TFLOPS 提升到 331.6 TFLOPS,接近翻倍,且無需刷 BIOS 或修改官方驅動。同樣的思路已在 RTX 3090 Ti、3080 等 30 系顯示卡和 2018 年的 RTX 2080 Ti 上覆現,Windows 11 也出現了 UEFI 實驗方案。
llama.cpp releasesAI 評分53
llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel(自 tetherto#257 移植)。在 RTX 3090(SM86)與 RTX 4090(SM89)通過正確性和 prefill 基準測試後,CUDA 側啟用 GDN MMA,其他未測試架構繼續沿用原有 fallback;ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。
Hacker News front pageAI 評分62
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next,支援聊天、寫程式碼、讀圖和接入 coding agent,資料不出本機。官方實測 RTX 5070(12GB)在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s;RTX 3090(24GB)預計可達 100-140 tokens/s。