llama.cpp releases10/3 16:54AI 評分53
llama.cpp 修復 server 崩潰：限制 n_batch 不超過 n_ubatch
llama.cpp 合併 PR #29903，通過把 n_batch 限制在 n_ubatch 以內，修復了 server 的 laya abort 崩潰（#29902）。該修復由 Claude 輔助完成，並移除了相關測試與 embeddings 條件。
搜尋
依意思最接近的 4 筆
NVIDIA blog10/1 14:00AI 評分22
NVIDIA 提出 AI 工廠回報三要素，稱 Vera Rubin 每兆瓦吞吐超 GB300 30 倍
NVIDIA 提出衡量 AI 工廠投資回報的三個變數：產能（每兆瓦吞吐與每 token 成本）、使用壽命和需求。它援引 SemiAnalysis AgentX 資料稱，Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高 30 倍以上，在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍；每兆瓦 AI 工廠造價約 6000 萬美元。
Hugging Face blog10/2 05:01AI 評分46
ServiceNow 推出 AutoSynthData，把 Agent 失敗轉成訓練資料
ServiceNow CoreAI 發布 AutoSynthData，用目標模型的失敗案例和更強 teacher 的成功案例定位能力缺口，再自動生成並驗證新的訓練任務。每個任務由 system specification、user prompt 和 verifier 三部分組成：任務要可行、真實、對當前模型有難度，verifier 要一致、可靠且完備。流程先用診斷任務評測目標模型，把發現提煉成能力規格卡片並據此生成新任務，模型變強後課程自動轉向它仍做不好的部分。
r/LocalLLaMA top of the day10/3 19:58AI 評分49
開發者發布 Ninfer 4080，16GB 顯示卡可跑 100k 上下文
開發者 roofkid 發布 Ninfer 4080，讓 RTX 4080 16GB 顯示卡以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，最高預填充 2720 tok/s、生成 262 tok/s，程式碼已在 GitHub 開源並提供 Docker 映象。它採用 DFlash2 投機解碼，作者稱預填充與生成速度明顯優於 llama.cpp、vllm 等通用推理引擎，代價是 KV 量化帶來輕微精度損失。