搜尋 關鍵字 語意 依意思最接近的 30 筆
Hacker News front page10/13 15:41 AI 評分46
Consus 發布面向 ITAR 與 CUI 敏感資料的 LLM 閘道器,並已完成針對 410 項 FedRAMP High 控制的等效審計。所有請求走單一 OpenAI 相容端點,模型名必須帶合規字尾(如 gpt-5.6-sol:fedramp-high、claude-opus-5-5:itar),裸模型名一律拒絕,且不代理標準商用端點。企業可通過 Consus Portal 管理金鑰、模型白名單與使用者級花費和模型限制。
機器之心● 精選 10/4 11:38 AI 評分68
AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理,並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果,而 LLM 的思維鏈仍只是預測下一個 token,缺少可檢查的認知狀態、知識與推理的分離,且常事後編造解釋。Yann LeCun 表示讚賞,認為真正推理必須涉及搜尋。
llama.cpp releases10/4 08:06 AI 評分20
llama.cpp 發布 b11384 版本,官網為 llama.app,並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp releases10/8 11:37 AI 評分41
llama.cpp 發布 b11497,SYCL 後端把 delta-net 的 alpha gate 中 add、unary、mul 三步融合成一條鏈,並新增測試覆蓋該融合鏈路,同時為融合運算元提供 flat path 並固定 node skip。
Hacker News front page● 精選 10/14 23:59 AI 評分81
Liquid AI 發布 LFM2.5-24B-A2B:24B 引數、每 token 僅啟用 2B 的推理模型,面向端側私有 agent,權重開放,已在 Hugging Face 和官方 Playground 上線。它是 LFM2.5 系列最大也是最後一款模型,上下文從 32K 擴至 131K,詞表由 65K 翻倍到 128K,預訓練從 17T 擴到 33T token。
llama.cpp releases● 精選 10/5 16:58 AI 評分82
llama.cpp 發布 v0.6.0,新增 llama_batch_ext 擴充套件 batch API,支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash(GLM5-Next)文字+視覺混合模型、Clef 決策模型,以及 Qwen4Exp 的 MTP 投機解碼,官方稱在 DGX Spark 上解碼約快 1.5 倍。
X @ggerganov● 精選 10/5 19:24 AI 評分77
llama.cpp 發布 v0.6.0,作者 ggerganov 列出了這一版的主要更新:新增 Clef 支援,涵蓋文字與視覺;對 Qwen3.8-Flash-Next 提供高品質支援;Metal 後端效能大幅提升;並引入新的 llama_batch_ext API。配套官網也完成改版,地址為 llama.app。原文未給出各項改動的具體效能數字。
Hugging Face blog● 精選 10/13 17:05 AI 評分81
LiquidAI 發布 LFM2.5-24B-A2B:總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型,專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答,能呼叫工具,上下文由上一代 32K 擴到 131K,詞表從 65K 翻倍至 128K。
X @ggerganov● 精選 10/2 14:33 AI 評分80
llama.cpp 最新建置已加入 Decision 模型支援,新增 /v1/systemone 端點,可在本地進行 Jev 風格推理,兼顧效率與隱私。目前支援多個開源模型,官方表示後續還會增加更多模型。
Simon Willison10/6 21:32 AI 評分63
Simon Willison 發布 LLM 外掛 llm-mistral 0.16,新增對推理模型的支援,包括新發布的 Mistral Large 4。該外掛通過 Mistral API 提供對 Mistral 模型的訪問,屬於 LLM 外掛生態的一部分。發布日期為 2026 年 10 月 6 日。
llama.cpp releases10/13 22:39 AI 評分40
llama.cpp 發布版本 b11606,主要改動是簡化 ggml 後端搜尋路徑的錯誤處理,由 Adrien Gallouët 提交。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置,涵蓋 Apple Silicon、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端;
X @ggerganov10/7 18:57 AI 評分45
llama.cpp 作者 Georgi Gerganov(@ggerganov)稱,llama.cpp 出現在了 10 月 7 日 Windows 活動的主舞臺上。他表示軟體與硬體棧終於走到一起,社群過去多年的努力得到體現,並期待更多使用者擁抱本地 AI。推文未說明該活動的具體內容,也未提及 llama.cpp 在其中的展示形式。
Hacker News front page10/13 14:14 AI 評分66
有近 15 年遊戲程式設計經驗的開發者把在 Calgary 的演講「Your Game Is A Harness」整理成博文,講如何為 LLM 自建遊戲開發 harness。作者認為 LLM 預設讀不懂遊戲:遊戲裡大量資產不是程式碼,對模型不透明,解法是把內容儘量轉成程式碼;他稱在 Web 棧專案上已幾乎不覺得 LLM 有做不到的事,遊戲則差得遠。文中還拆解了 LLM 請求由 system、assistant、user 三部分構成。
X @ggerganov● 精選 10/6 16:49 AI 評分69
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援,由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face,可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行,無需等待社群自行轉換。
llama.cpp releases10/2 23:57 AI 評分25
llama.cpp 的 server 元件新增了 /v1/systemone API,支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援,並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台,但明確不支援 date_facts。
llama.cpp releases10/8 03:40 AI 評分41
llama.cpp 發布 b11486 建置,Hexagon 後端的 GELU 啟用函式精度得到改進(#30104)。該版本繼續為驍龍平台提供 Hexagon NPU、Adreno GPU 與 CPU 三類後端,覆蓋 Linux arm64、Android arm64 與 Windows arm64。
r/LocalLLaMA top of the day10/3 07:00 AI 評分65
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。
X @karpathy10/11 19:12 AI 評分55
Karpathy 稱 LLM 能力的認知差距正在擴大,從兩群人各說各話變成尖銳的漏斗。他估算約 60 億人(75%)幾乎沒接觸過 LLM,10 至 20 億人(20%)只是偶爾用免費版聊天機器人,約 2000 萬人(0.2%)在數學與程式碼上親身使用前沿模型,過去要花數週數月的專案現在一個提示就能由 agent 完成。
OpenAI News10/6 12:00 AI 評分44
Jump Trading 的 LLM 研發負責人 Lucas Baker 表示,引入 OpenAI GPT-6 Astra 後,可交給 agent 的量化研究工作流在規模與複雜度上大幅提升,從日常寫程式碼擴充套件到需要執行數天、跨多資料來源的完整分析。過去需要頻繁人工指導與干預,現在團隊只需定義安全、可監控的環境與明確目標,讓 agent 自行尋找路徑,並在長任務中自我評估、遞迴改進。在受監管的金融行業,agent 產出的交易訊號仍按普通訊號處理,需人工稽核並納入嚴格控制的執行環境。
llama.cpp releases10/8 04:19 AI 評分46
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援,服務端可通過 images 與 input_audio 直接接收音訊輸入,模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni,images 成為 files 的別名,無記憶的 lfm2 被限定為非因果模式,CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成;
llama.cpp releases10/12 14:00 AI 評分42
llama.cpp 發布 b11571 建置,新增對 pplx-decider(vLLM decision 2)模型的支援,並加入更嚴格的模型校驗、明確命名規則等改動。該版本同步提供 macOS、Linux、Windows、Android 各平台預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp releases● 精選 10/3 11:54 AI 評分70
ggml-openvino 後端更新到 2026.4.1,重點最佳化 Qwen3.5 MoE 推理效能,並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載(cache_only)等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B,pp512 從 66.16 t/s 提升到 1608.73 t/s,tg128 從 25.94 提升到 26.46 t/s,困惑度基本不變。
llama.cpp releases10/7 05:02 AI 評分36
llama.cpp 發布建置 b11459,唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon(arm64)與 Intel(x64)、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL;
llama.cpp releases10/3 01:06 AI 評分40
llama.cpp 發布 b11364 版本,新增對 nimble 決策模型的支援(PR #29844)。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台,提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置;
Hacker News front page10/12 18:00 AI 評分49
Rich Hickey 發表短文《'AI' Is Not a Tool》,主張 LLM 不是可被揮舞的工具,而是自動化:它自行行動,使用者只發出請求,沒有持續控制,也沒有感官反饋。他以用 LLM 讀論文為例,指出是它讀了而不是你讀了,讀者因此錯過學習寫作、組織論證、發現細節乃至學習思考的機會。他強調工具不會失控或叛變,而自動化有著與工具不同、忽視不得的固有屬性。
Hacker News front page10/11 20:20 AI 評分59
Karpathy 稱大眾對 LLM 能力的理解差距正在擴大,已從兩撥人各說各話變成陡峭的漏斗:約 60 億人(75%)幾乎沒接觸過 LLM,10 至 20 億人(20%)只是免費版 ChatGPT 類產品的偶爾使用者,約 2000 萬人(0.2%)在數學與程式碼上專業使用前沿模型,僅約 5000 人(0.00006%)能內部訪問前沿系統。他把成因歸為三點:影響隨問題規模與時間跨度放大、能力在數字化且可驗證的領域形成鋸齒狀峰值、以及免費/付費/內部的訪問分層。
llama.cpp releases10/15 15:44 AI 評分40
llama.cpp 發布 b11662 版本(同步 ggml),預編譯建置提供 ROCm 10.0、CUDA 13(13.4 庫)以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。
llama.cpp releases10/9 09:29 AI 評分50
llama.cpp 發布 b11518,Metal 後端加入 128 與 96 兩檔 Flash Attention 核心,並接受所有已編譯的維度組合(#30209)。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;
llama.cpp releases10/12 14:27 AI 評分45
llama.cpp 發布 b11572,新增對 vLLM d3 模型的支援(d2 同步更新),並加入 pplx-decider 模型支援,同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp releases10/3 08:36 AI 評分43
llama.cpp 合併 PR #29831,為 clef 決策模型加入初始支援,目前僅限純文字輸入。該改動同時更新了 gguf-py 常量並清理了靜態圖相關程式碼,隨附的建置產物覆蓋 macOS、Linux、Windows、Android 與 openEuler 等多個平台。