AISpot

搜尋

依意思最接近的 30 筆

r/LocalLLaMA top of the dayAI 評分65

LiquidAI 發布 LFM2.5-Encoder 250M/350M 編碼器

LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。

llama.cpp releasesAI 評分25

llama.cpp 伺服器新增 /v1/systemone API,支援 laya、julia-1 等模型

llama.cpp 的 server 元件新增了 /v1/systemone API,支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援,並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台,但明確不支援 date_facts。

Ollama releases● 精選AI 評分75

Ollama v0.40.0:Apple Silicon 預設用 MLX 跑模型

Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構將自動改用 MLX 執行。可用模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已登陸 MLX,官方稱會繼續測試並啟用更多模型。

Ollama releases● 精選AI 評分82

Ollama v0.40.0:Apple Silicon 預設用 MLX 執行模型

Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。

Ollama releases● 精選AI 評分79

Ollama v0.40.0 在 Apple Silicon 上預設用 MLX 執行模型

Ollama 發布 v0.40.0:在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。本次納入 MLX 的模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已支援。可用 ollama pull / run qwen3.8 拉取與執行,官方稱將繼續啟用更多模型。

llama.cpp releasesAI 評分36

llama.cpp 修復 Vulkan 後端 RDNA4 矩陣向量調優

llama.cpp 發布 b11389 版本,修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題(PR #29934)。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制,包括 Vulkan、CUDA、ROCm、SYCL 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。

llama.cpp releasesAI 評分37

llama.cpp b11471 為詞表加入 Plamo FIM tokens

llama.cpp 發布 b11471 建置,主要變更是向詞表加入 Plamo 的 FIM(fill-in-the-middle)tokens,服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

Ollama releasesAI 評分43

v0.40.1

Ollama 發布 v0.40.1,服務端新增代理雲端用量與餘額 API,客戶端可藉此讀取帳戶用量與餘額。該版本還把帳號步驟從 CLI 新手引導中移除,修復 Windows 上 llama 讀取超過 2GiB 的 clef head 問題,並讓 manifest 在 Windows 上避免使用符號連結。MLX 方面刪除了已進入上游的 Metal residency 補丁,文件修復了 README 社群整合列表中的 6 個失效連結和應用 README 的下載連結。

Cloudflare blog (AI)● 精選AI 評分68

Cloudflare 將 EuroLLM 與 Apertus 兩個歐洲開源模型接入 Workers AI

Cloudflare 在生日周宣布,將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI,現已開放訪問申請。EuroLLM 覆蓋 35 種語言,含全部 24 種歐盟官方語言;Apertus 由瑞士 ETH Zurich、EPFL 等開發,訓練資料超 15 萬億 token、覆蓋 1500 多種語言,權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊,首場 10 月在新加坡舉行。

llama.cpp releasesAI 評分46

llama.cpp 新增 LiquidAI d1-omni-600M 決策模型

llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援,服務端可通過 images 與 input_audio 直接接收音訊輸入,模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni,images 成為 files 的別名,無記憶的 lfm2 被限定為非因果模式,CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成;

llama.cpp releasesAI 評分43

llama.cpp b11515:SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU

llama.cpp 發布 b11515,主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心,並加入融合 GLU(#29375),面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端;

llama.cpp releasesAI 評分42

llama.cpp 發布 b11424,修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

r/LocalLLaMA top of the dayAI 評分27

LocalLLaMA 討論 jev 分類模型的實際使用體驗

r/LocalLLaMA 社群討論過去一週的 jev 模型熱潮是否該翻篇,並分享實際用例。有使用者用 jev 做論文證據定位和倉庫惡意行為掃描,也有使用者將其接入語音桌遊引擎,用 decider 4b 替代 Gemma 雙階段流程後延遲從 4-8 秒降至 2-3 秒。但有人實測 jev 及同類模型準確率持續低於 80%,而 Qwen 3.8 27B 達 95%、100b+ 模型達 100%。

Ollama releases● 精選AI 評分76

Ollama v0.40.0-rc6 在 MLX 上加入多模態嵌入

Ollama 發布 v0.40.0-rc6,在 MLX runner 上實現 EmbeddingGemma2Model 架構,使本地嵌入支援多模態輸入。/api/embed 介面現在可通過 input dict 為每個條目單獨傳入媒體。該模型為 24 層雙向文字編碼器,帶 PLE,共享 gemma4 的視覺與音訊塔,輸出經 mean-pool 與 L2 歸一化。該標籤由 pdevine 於 10 月 6 日打上,對應提交 #18820,仍屬 rc 預發布版本。

llama.cpp releasesAI 評分12

llama.cpp 發布 b11407,修復 Vulkan 測試編譯錯誤

llama.cpp 發布 b11407 版本,修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包,涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。

TechCrunch AIAI 評分68

非文字模型 Jev 開發商融資 8.7 億美元,估值 75 億

TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資,由 Andreessen Horowitz 領投,紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布,基於 transformer 架構但不是大語言模型,不輸出文字而是生成機率,公司稱之為「校準決策」,定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM,並稱已有三分之一財富 500 強企業在使用;

NVIDIA blogAI 評分25

輝達稱 Vera Rubin NVL72 每兆瓦吞吐量超 GB300 30 倍

輝達援引 SemiAnalysis AgentX 資料稱,Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍,在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯:每兆瓦 token 數決定收益,A100 出貨六年後仍在商用,CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。

機器之心● 精選AI 評分78

8B 智慧體自主呼叫工具做影片生成,VABench 從 56.5 升到 86.1

VideoGen-Agent 用 Qwen3-VL-8B-Instruct 做基座,在多輪互動中呼叫檢索、生成與驗證工具,先以 16K 教師軌跡監督微調,再用 8K 提示做多工強化學習。在 600 條提示的 VABench 上,Toolset 1 配置得 75.6 分,比基礎生成器 56.5 分高出 19.1 分;智慧體策略不變、僅升級生成工具後達 86.1 分,人類評估中 84.3% 的判斷偏好該配置。

llama.cpp releasesAI 評分42

llama.cpp 發布 b11461,修復 AMD 核顯 Vulkan 檢查點讀取慢

llama.cpp 發布 b11461,主要改動是修復 AMD 整合顯示卡在 Vulkan 後端下檢查點(checkpoint)讀取過慢的問題,對應 PR #30049。該版本同時更新了 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包,覆蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL,以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 後端。