AISpot

搜尋

依意思最接近的 30 筆

llama.cpp releases● 精選AI 評分78

llama.cpp 合併 GLM5-Next MTP 支援,可作 draft 模型

llama.cpp 合併 PR #29928,為 GLM5-Next 加入多 token 預測(MTP)的 NextN 計算圖,使其能作為投機解碼的 draft 模型使用。改動包括支援只含 NextN 層或只含主幹張量的拆分 GGUF 檔案載入,並把 MTP 圖按輸出行裁剪,無輸出行的 4-token catch-up 核心耗時從 6.9 ms 降到 2.9 ms,貪心輸出雜湊與 draft 接受率不變。

llama.cpp releases● 精選AI 評分68

llama.cpp SYCL 為 GLM MLA 預填充接入 MKL,pp8192 提速 2.99 倍

llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention,此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕,預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上,pp8192 從 432.80 提升到 1292.29 tok/s(2.99 倍,+198.6%),tg256 在噪聲範圍內基本不變(45.67 對 45.65)。

llama.cpp releasesAI 評分43

llama.cpp b11515:SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU

llama.cpp 發布 b11515,主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心,並加入融合 GLU(#29375),面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端;

NVIDIA blog● 精選AI 評分85

OpenAI 上線 GPT-6 Astra Ultrafast,基於 NVIDIA Blackwell

GPT-6 Astra Ultrafast 已在 OpenAI API 上線,並向符合條件的 ChatGPT Work 與 Codex 使用者開放,執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍,可縮短 coding agent 的編輯—測試—除錯迴圈,並減少工具呼叫之間的等待。開發者可通過 API 使用,訪問方式、價格與實現細節見 Ultrafast 指南。

機器之心● 精選AI 評分90

OpenAI 宣布 GPT-6 提速 50%,第三方實測訂閱額度只有 Claude 的 1/5

OpenAI 兌現 28 天連更承諾的第 1 天更新:GPT-6 Astra 與 GPT-6.1 Sol 預設速度提升約 50%,輸出從 30 TPS 提到 50 TPS,使用者無需操作、兩小時內生效,並覆蓋 OpenCode、Pi、Amp、Devin 等通過 Sign in with ChatGPT 接入的合作伙伴。

機器之心● 精選AI 評分72

田淵棟:用 GPT-5 合寫論文效率提升 6-10 倍,判斷工作五年內被取代

田淵棟在播客中稱,把 GPT-5 當合作者完成在 Meta 的最後一篇論文(grokking 研究)後,效率提升約 6 到 10 倍,由此判斷自己的工作五年內會被取代,於是聯合創辦 Recursive Superintelligence。該公司今年 5 月結束隱身,以 46.5 億美元估值融資超 6.5 億美元,GV 和 Greycroft 領投,輝達、AMD 參投。他同時強調模型自己想出的點子仍很平庸,研究閉環中最難自動化的是提出想法,並表示公司會開源研究成果。

llama.cpp releases● 精選AI 評分82

llama.cpp v0.6.0 發布:新增擴充套件 batch API 與 GLM-5.3-Flash 支援

llama.cpp 發布 v0.6.0,新增 llama_batch_ext 擴充套件 batch API,支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash(GLM5-Next)文字+視覺混合模型、Clef 決策模型,以及 Qwen4Exp 的 MTP 投機解碼,官方稱在 DGX Spark 上解碼約快 1.5 倍。

量子位● 精選AI 評分87

Claude Haiku 5.5 發布,跑分逐項超 GPT-6 Luna,價格最高降 90%

Anthropic 發布 Claude Haiku 5.5,官方跑分逐項超過 GPT-6 Luna,成為新的小模型守門員。10 萬 token 以內的請求輸入輸出價格降 90%,超出部分降 50%,但換用新 tokenizer 後同一任務耗費 token 更多,實際省下的錢少於標價折扣。它首次支援 low 到 max 五檔 effort 調節,OSWorld 2.1 上 Low 檔準確率 42.0%、單次成本 $0.07,Max 檔 72.4%、$0.61;

Claude Platform release notes● 精選AI 評分88

Claude Haiku 5.5 發布:1M 上下文,自適應思考預設開啟

Anthropic 推出 Claude Haiku 5.5(claude-haiku-5-5),面向高併發與低延遲場景。該模型提供 1M token 上下文視窗、128k 最大輸出 token,並支援通過 effort 引數調節的自適應思考。已在 Claude API、Amazon Bedrock、AWS 上的 Claude Platform、Google Cloud 和 Microsoft Foundry 上線。

llama.cpp releasesAI 評分37

llama.cpp 發布 b11352 版本,最佳化 Qwen4 掩碼構造

llama.cpp 發布 b11352 建置版本,主要變更為最佳化 Qwen4 的掩碼構造(#29824),並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台,提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置,其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。

The Verge AI● 精選AI 評分90

Google 10 月 9 日起將 Gemini 免費使用者限制為 Flash Lite

從 10 月 9 日起,Google Gemini 免費方案使用者只能使用 Flash Lite 模型,此前免費使用者可在 Flash Lite、Flash 和 Pro 之間選擇。標準 Flash 模型改為需要每月 4.99 美元的 Google AI Plus 訂閱,而該訂閱也將不再包含 Gemini Pro,Google 表示會發郵件通知 AI Plus 使用者何時失去存取權限。

llama.cpp releasesAI 評分50

llama.cpp 新增啟用統計與 GGUF imatrix 支援

llama.cpp 合併 PR #14891,為 GGUF 格式 imatrix 引入基於啟用值的統計計算,新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數(ECS),並支援外部 NextN 草稿檔案(-md / --model-draft)。預設不啟用啟用統計以避免 imatrix 體積翻倍,統計報告佈局與排序也按 imatrix 型別更新。

Hacker News front page● 精選AI 評分78

Google 發布 EmbeddingGemma 2,統一五種模態嵌入

Google 發布 EmbeddingGemma 2,一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器,面向端側場景最佳化;藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度,上下文視窗 8K,是純文字版 EmbeddingGemma 的 4 倍,並以 Apache 2.0 許可開放商用。

X @claudeaiAI 評分49

@claudeai: Haiku 5.5 is a significant step up over Haiku 4.5 across coding, computer use, and knowledge work.

Anthropic 官方帳號宣布推出 Claude Haiku 5.5。官方稱該模型在編碼、computer use 與知識工作三類任務上,相比 Haiku 4.5 有顯著提升。目前公布的資訊僅此一句對比結論,未提及價格、上下文長度、開放平台或具體評測資料。

X @GoogleDeepMind● 精選AI 評分73

@GoogleDeepMind: Meet EmbeddingGemma 2, our first natively multimodal open model for on-device embeddings.

Google DeepMind 發布 EmbeddingGemma 2,稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外,把程式碼、影像、音訊與影片統一對映到同一個共享向量空間,可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位,未公布引數規模、上下文長度、適配硬體與開源許可等細節。

r/LocalLLaMA top of the dayAI 評分40

使用者觀察新模型寫作趨向高資訊密度與生僻詞彙

有使用者在 Reddit 發帖指出,近期開源與閉源新模型(如 GLM 5.3 Flash)的寫作風格正趨向高資訊密度和擴充套件詞彙,用更少字詞表達更多內容,類似 William Gibson 的壓縮文風。作者認為這可能與追求 token 效率有關,但代價是普通讀者難以一眼讀懂,例如輸出中出現 Baudrillardian 這類需要背景知識才能理解的詞。

X @OpenAIDevs● 精選AI 評分85

GPT-6.1 Sol 上線 Ultrafast,最高提速 8 倍,覆蓋 API 與 Codex

OpenAI 為 GPT-6.1 Sol 推出 Ultrafast 模式,今日起在 API、Codex 和 ChatGPT Work 同步上線,官方稱其速度最高可達 Sol Standard 的 8 倍。該模式被描述為具備接近 Astra 的智慧水平,官方說法是讓建置速度跟上想法產生的速度。

llama.cpp releasesAI 評分46

llama.cpp 修復 ggml CLAMP 非連續檢視定址錯誤

ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤,涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride,CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03;現在兩者都改為遵循 dims 1..3 的 stride,且 CUDA 的 supports_op 要求行連續,與 Metal 一致。

Hacker News front pageAI 評分58

Google 取消 Gemini Flash 與 Pro 模型免費使用

Google 將停止 Gemini Flash 和 Pro 模型的免費使用,使用者需付費訂閱才能繼續使用。此舉在 r/GeminiAI 社群引發大量討論,使用者對 Flash 被納入付費範圍尤為不滿,認為 Flash-Lite 能力不足。部分使用者表示將轉向 ChatGPT、Claude 或 DeepSeek 等替代方案。

OpenAI Codex changelog● 精選AI 評分81

GPT-6.1 Sol 超高速模式登陸 Codex 與 ChatGPT Work

GPT-6.1 Sol 的 Ultrafast 超高速模式已在 Codex 和 ChatGPT Work 上線,主要作用是加快 token 生成速度。該模式對 Pro $500 方案以及符合條件的 Enterprise 和 Edu 方案開放,企業版預設關閉,需要工作區管理員手動開啟。它支援將推理駐留在美國和歐洲(EEA 加瑞士)。官方另提供 Ultrafast 模式的方案與工作區要求、模型選擇指南,以及用量和額度費率說明。

llama.cpp releasesAI 評分42

llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM

llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元(#29245),面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物,覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。