AISpot

搜尋

找到 4 筆;也可以試試 語意搜尋

Hacker News front pageAI 評分66

ThinkingCap 版 Gemma-4-26B-A4B 思考量平均減少 38.9%

BottleCap AI 發布 ThinkingCap 系列第五個模型,把 Google gemma-4-26B-A4B-it 的平均思考 token 減少 38.9%,十二項基準準確率平均只降 0.15pp。單項降幅最高為 LongBench v2 的 69.1%,AA-LCR 降 59.3%;迴圈輸出率從 3.64% 降到 0.76%;IFBench 反而提升 1.83pp,AA-LCR 準確率下降 4.00pp 是主要代價。取樣設定和 vLLM 服務棧不變,可直接替換;

llama.cpp releases● 精選AI 評分70

llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能

ggml-openvino 後端更新到 2026.4.1,重點最佳化 Qwen3.5 MoE 推理效能,並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載(cache_only)等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B,pp512 從 66.16 t/s 提升到 1608.73 t/s,tg128 從 25.94 提升到 26.46 t/s,困惑度基本不變。

Google Developers blog● 精選AI 評分69

Google Antigravity SDK 新增本地 AI 模型支援

Google Antigravity SDK 現已支援在本地執行離線 agentic 工作流,可通過 LiteRT 呼叫 Gemma 4 26B A4B 等模型。該更新支援混合編排架構,由雲端模型擔任輕量規劃器,本地模型在裝置上處理程式碼審計與修補等高 token 消耗任務。SDK 還直接相容 Ollama、vLLM 等 OpenAI 相容推理伺服器,便於建置隱私優先的本地自主工具。

r/LocalLLaMA top of the dayAI 評分50

Anyworld:本地 LLM 當 DM 的自託管多人文字 RPG

Anyworld 是一款瀏覽器端多人文字冒險遊戲,由房主用 llama.cpp 本地跑模型充當 DM,也支援 OpenAI 等雲 API,玩家只需開啟連結即可加入。行動結果由 Python 真實擲骰決定,模型只負責敘述;支援自訂劇本、隱藏劇情觸發、場外聊天和斷線重連。開發時用 Gemma 4-26B-A4B Q4、128k 上下文,在 RTX 5070 Ti 16GB 上每輪結算約 5 秒。