AISpot

搜尋

依意思最接近的 22 筆

llama.cpp releasesAI 評分37

llama.cpp b11471 為詞表加入 Plamo FIM tokens

llama.cpp 發布 b11471 建置,主要變更是向詞表加入 Plamo 的 FIM(fill-in-the-middle)tokens,服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

llama.cpp releasesAI 評分25

llama.cpp 伺服器新增 /v1/systemone API,支援 laya、julia-1 等模型

llama.cpp 的 server 元件新增了 /v1/systemone API,支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援,並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台,但明確不支援 date_facts。

llama.cpp releasesAI 評分46

llama.cpp 新增 LiquidAI d1-omni-600M 決策模型

llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援,服務端可通過 images 與 input_audio 直接接收音訊輸入,模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni,images 成為 files 的別名,無記憶的 lfm2 被限定為非因果模式,CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成;

X @ggerganovAI 評分45

llama.cpp 登上 Windows 活動舞臺,作者期待本地 AI 普及

llama.cpp 作者 Georgi Gerganov(@ggerganov)稱,llama.cpp 出現在了 10 月 7 日 Windows 活動的主舞臺上。他表示軟體與硬體棧終於走到一起,社群過去多年的努力得到體現,並期待更多使用者擁抱本地 AI。推文未說明該活動的具體內容,也未提及 llama.cpp 在其中的展示形式。

llama.cpp releases● 精選AI 評分85

llama.cpp v0.7.0 發布:MoE 專家快取最高帶來 2.2 倍解碼提速

llama.cpp 發布 v0.7.0,最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取(--moe-cache-mib),專家改由裝置端 LRU 快取執行,專家解除安裝時解碼最高提速約 2.2 倍,且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼,並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。

llama.cpp releases● 精選AI 評分82

llama.cpp v0.6.0 發布:新增擴充套件 batch API 與 GLM-5.3-Flash 支援

llama.cpp 發布 v0.6.0,新增 llama_batch_ext 擴充套件 batch API,支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash(GLM5-Next)文字+視覺混合模型、Clef 決策模型,以及 Qwen4Exp 的 MTP 投機解碼,官方稱在 DGX Spark 上解碼約快 1.5 倍。

llama.cpp releasesAI 評分37

llama.cpp b11501:SYCL 後端 FWHT 最佳化,macOS KleidiAI 建置停用

llama.cpp 發布 b11501 建置,主要變更是 SYCL 後端的 FWHT 最佳化(PR #29605)。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包,覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

量子位● 精選AI 評分76

《柳葉刀》主刊研究:Google AMIE 門診輔助,診斷吻合度 90%

Google 與貝斯以色列女執事醫療中心(BIDMC)主導的研究首次登上《柳葉刀》主刊:98 名患者在門診就診前使用 Google 研究級診斷 AI 聊天機器人 AMIE,全程由醫生即時監控,沒有一輪對話因安全問題被中斷。臨床醫生反饋,75% 的場景下 AI 生成的摘要幫他們提前做好接診準備,超過半數案例中 AI 輸出改變了診療思路;AMIE 的鑑別診斷與醫生最終確診吻合度達 90%。研究團隊表示,面向患者端大規模落地仍需更大規模臨床試驗。

llama.cpp releases● 精選AI 評分62

llama.cpp 版本號升至 0.6.0,多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0(PR #29997),並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Linux(Ubuntu x64/arm64/s390x,含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL)、Android arm64、Windows(x64/arm6…

TechCrunch AIAI 評分51

Industrial Next 與寶馬合作,AI 機器人產線換型縮短到數分鐘

舊金山初創公司 Industrial Next 在 TechCrunch Disrupt 2026 上宣布與 BMW 集團技術辦公室合作,評估其 AI 靈巧操作技術用於製造。該公司由兩位前特斯拉工程師於 2021 年創立,做的是基於自研基礎模型的機器人工作站,把視覺、任務上下文與運動控制打通,用高保真模擬訓練,產線換型從數週縮短到數分鐘,無需傳統程式設計。其工作站已在某款熱門手機的生產中使用,負責柔性排線穿線、聯結器扣合等此前難以自動化的工序;

llama.cpp releasesAI 評分42

llama.cpp b11607 發布:chat 輸出改為 parts 結構

llama.cpp 發布 b11607 建置,主要變更是把 chat 的輸出由單個字串改為 parts 結構(PR #30389)。同版本更新了各平台預編譯產物,覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端,以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 支援。

llama.cpp releasesAI 評分27

llama.cpp 修復預設白名單中失效的 LLAMA_ARG_HF_REPO_FILE 鍵

llama.cpp 發布 b11385 版本,修復了預設允許列表中失效的 LLAMA_ARG_HF_REPO_FILE 鍵(#29938)。該版本繼續為 macOS、Linux、Windows、Android 等平台提供建置,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置被標記為 DISABLED…

llama.cpp releasesAI 評分46

llama.cpp 修復繁忙 slot 被載入錯誤上下文的問題

llama.cpp 新版修復了請求指定繁忙 id_slot 時的上下文錯亂問題。此前這類請求仍會先在該 slot 上執行 prompt cache 更新,若 RAM 快取命中更好的匹配,就會把新上下文載入仍在生成中的 slot,導致生成在錯誤上下文上繼續;現在繁忙 slot 會原樣返回,請求排隊等待(#30295)。