X @ggerganov● 精選AI 評分81
@ggerganov: Run GGUF models directly with transformers.
llama.cpp 作者 Georgi Gerganov 宣布，現在可以直接用 transformers 執行 GGUF 格式模型。該工作把 ggml 的 Metal 核心引入 transformers 生態，提升了相容性與效能，具體細節見其後續說明。
搜尋
找到 9 筆
Hugging Face blog● 精選AI 評分77
TorchTPU 發布：Transformers 與 Diffusers 原生支援 TPU
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；
Hacker News front page● 精選AI 評分79
Dust：不用反向傳播預訓練 Transformer 的零階方法
研究者提出 Dust，稱這是首個在預訓練 Transformer 語言模型上與反向傳播有競爭力的零階方法。它不擾動權重，而是在每個 token 上獨立擾動啟用（node perturbation），把每個 token 當作一個虛擬種群成員，一次前向傳播即可並行評估全部成員。論文稱在種群規模足夠大（即算力顯著更多）時 Dust 接近反向傳播，部分設定下甚至超過；
Hacker News front pageAI 評分69
自注意力可存超百萬條記憶：Transformer 記憶容量解讀
這篇博文把線性層、MLP 和自注意力解釋為不同形式的記憶儲存，並估算容量：在 64 維 key 下，線性層約存 64 條記憶，MLP 約 2700 條，自注意力可超過 100 萬條。它用干擾-訊號比衡量召回品質：儲存越多，鍵之間干擾越大，干擾等於訊號時達到容量；鍵正交時召回才精確。文章還指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶，並配有互動式應用展示召回如何失敗。
Google Developers blog● 精選AI 評分71
EmbeddingGemma 2 開源多模態嵌入模型，768 維統一空間
EmbeddingGemma 2 是一個緊湊的開源多模態嵌入模型，把文字、程式碼、影像、影片和音訊對映到統一的 768 維向量空間。開發者可通過 sentence-transformers 庫選擇性載入模組化模態編碼器，引數量在 270M 到 740M 之間，以最佳化記憶體佔用。模型還採用 Matryoshka 表示學習，支援將維度動態截斷至 128 維，在保持較高檢索效能的同時顯著降低向量資料庫的儲存需求。
llama.cpp releasesAI 評分33
llama.cpp b11747 讓 mtmd 對齊 Qwen-VL 影像縮放
llama.cpp 發布 b11747 建置，核心改動是讓 mtmd 的多模態預處理與 transformers 的 Qwen-VL resize 行為保持一致，避免同一張圖片在兩邊得到不同的縮放與切圖結果。
Hugging Face blog● 精選AI 評分91
Reflection 開源首個模型 Beam：501B MoE、Apache 2.0
美國新實驗室 Reflection 開源首個模型 Beam：501B 引數 MoE，每 token 僅啟用 23B，支援 1M token 上下文，Apache 2.0 許可，主攻編碼與 agentic 場景。首日支援 transformers、SGLang 與 vLLM，提供 BF16、FP8、NVFP4 三種 checkpoint 及自研 Rust 推理 harness，並附 SFT 與 RL 微調配方。
MLX LM releasesAI 評分53
MLX 發布 v0.30.6，新增 Kimi-K2.5 等模型支援
MLX 發布 v0.30.6，新增 Kimi-K2.5、LongCat Flash、LongCat Flash Lite、Step 3.5 Flash 等模型支援，並修復 Deepseek V3.2、GLM 4.7 工具呼叫等問題。該版本還加入 Transformers v5 支援、服務端分散式推理、自訂模型載入，以及 chat_template_kwargs 和 top_logprobs 引數支援。
X @AIatMeta● 精選AI 評分81
@AIatMeta: To help make advanced models more accessible, Muse Spark Open is optimized to run on two Apple M5 U…
Meta 發布 Muse Spark Open，為讓先進模型更易獲取，該模型針對最新 MLX 框架做了最佳化，可在兩臺 Apple M5 Ultra Mac Studio 上執行。它同時支援 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、llama.cpp、Unsloth 等主流推理引擎，並針對 AMD、Apple、Intel 與 NVIDIA 晶片最佳化。