X @karpathyAI 評分55
Karpathy：LLM 能力認知差距擴大成漏斗，約 2000 萬人在用前沿模型
Karpathy 稱 LLM 能力的認知差距正在擴大，從兩群人各說各話變成尖銳的漏斗。他估算約 60 億人（75%）幾乎沒接觸過 LLM，10 至 20 億人（20%）只是偶爾用免費版聊天機器人，約 2000 萬人（0.2%）在數學與程式碼上親身使用前沿模型，過去要花數週數月的專案現在一個提示就能由 agent 完成。
搜尋
依意思最接近的 30 筆
Hacker News front pageAI 評分59
Karpathy：LLM 能力認知鴻溝擴大，僅約 0.2% 人在用前沿模型
Karpathy 稱大眾對 LLM 能力的理解差距正在擴大，已從兩撥人各說各話變成陡峭的漏斗：約 60 億人（75%）幾乎沒接觸過 LLM，10 至 20 億人（20%）只是免費版 ChatGPT 類產品的偶爾使用者，約 2000 萬人（0.2%）在數學與程式碼上專業使用前沿模型，僅約 5000 人（0.00006%）能內部訪問前沿系統。他把成因歸為三點：影響隨問題規模與時間跨度放大、能力在數字化且可驗證的領域形成鋸齒狀峰值、以及免費／付費／內部的訪問分層。
Hacker News front pageAI 評分29
開發者吐槽 LLM 招聘郵件：個性化段落與職位描述毫不相關
一位基礎設施工程師記錄了近期收到的一類新招聘郵件：開頭由 LLM 複述其過往任職經歷並稱其「完美匹配」，緊接著的職位描述卻是 Django 全棧等與其背景無關的崗位，甚至職位描述本身也充滿明顯的 LLM 用語。作者認為，相比只替換姓名的老式模板郵件，這種假裝個性化的寫法更冒犯人，因為 LLM 本可以核對簡歷判斷是否匹配，卻只做了表面功夫，而簡單再跑一遍 LLM 或人工校對就能去掉這些痕跡。
Hacker News front pageAI 評分45
LLM 並非不可避免：技術必然性需滿足四條標準
一篇評論文章反駁 AI「不可避免」的流行說法，提出判斷一項技術是否真正必然的四條標準：能完成任務且不顯著遜色、該任務有社會價值且依賴稀缺勞動力、輸出在量或質上壓倒性超越替代方案、不用它的人無法靠改變行為抵消其影響，四條全中才算不可避免。作者以火藥與火炮為例：歐洲政治碎片化、工事多為高薄牆，火炮攻城效率遠超配重投石機，各國不得不盡快採用；而中國以夯土城牆為主，火炮價值低得多。文章認為 LLM 支持者的邏輯正是：不用的人會在權力上落後，最終受制於使用者。
X @karpathy● 精選AI 評分67
Karpathy 分享理解 LLM 輸出的技巧：從 ASD-STE100 到解釋影片
Karpathy 認為，隨著 LLM 能力提升，人類工作將更多轉向監督與理解模型輸出，而 LLM 本身也能在這方面提供幫助。他給出的遞進式技巧包括：要求模型用航空維護文件規範 ASD-STE100 寫作、生成圖表、輸出 HTML 互動網頁，以及製作定製解釋影片，例如用 ElevenLabs API 生成 3b1b 風格影片。他強調可以要求模型產出大型、定製、用完即棄的軟體產物，如網頁應用和影片直譯器。
llama.cpp releasesAI 評分46
llama.cpp 新增 LiquidAI d1-omni-600M 決策模型
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；
r/LocalLLaMA top of the dayAI 評分65
LiquidAI 發布 LFM2.5-Encoder 250M/350M 編碼器
LiquidAI 發布 LFM2.5-Encoder 系列，含 250M 與 350M 兩個版本，基於 LFM2 架構的雙向掩碼語言模型，支援 15 種語言、8k 上下文，可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT，CPU 長上下文有優勢，並可在瀏覽器 WebGPU 上執行；GGUF 權重已上傳 Hugging Face，llama.cpp 已提交對應支援 PR。
Hacker News front pageAI 評分75
研究：LLM 用 1866 年電報體壓縮記錄可省近半 token
一份 50 篇材料、約 1300 題的新基準（Telegraph Test，程式碼與資料已開源）顯示，只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體（cablese）撰寫壓縮記錄，輸出 token 可省 40%–49%，而下游模型讀取這些記錄的準確率不低於明文（恢復比 0.99–1.10）。GLM-5.3-Flash 自身省 48.4%，qwen3.8-27b 省 48.9%，gemma-4-31b 省 40.4%；
llama.cpp releasesAI 評分20
llama.cpp 修復 server 因 n_batch 超限導致的 abort
llama.cpp 合併 PR #29903，通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題，對應 issue #29902。該修復由 Claude 輔助完成，並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台，包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。
llama.cpp releasesAI 評分52
llama.cpp 最佳化 pooled embeddings：跳過 LM head 與取樣層
llama.cpp 發布 b11597 建置：提取 pooled embeddings 的上下文不再展開 LM head，模型只宣告 t_logits，除非池化型別不是 NONE，set_outputs() 才會展開它，省去了每個 token 的 n_vocab 維 logits 計算和對應的 host buffer。改動同時新增獨立的 build_logits() 來建置 LM head，並在 build_sampling() 之前呼叫；
Hacker News front pageAI 評分49
Rich Hickey：LLM 不是工具，而是自動化
Rich Hickey 發表短文《'AI' Is Not a Tool》，主張 LLM 不是可被揮舞的工具，而是自動化：它自行行動，使用者只發出請求，沒有持續控制，也沒有感官反饋。他以用 LLM 讀論文為例，指出是它讀了而不是你讀了，讀者因此錯過學習寫作、組織論證、發現細節乃至學習思考的機會。他強調工具不會失控或叛變，而自動化有著與工具不同、忽視不得的固有屬性。
llama.cpp releasesAI 評分53
llama.cpp 修復特殊 token 轉義導致的 server 崩潰
llama.cpp 修復了 llama-server 在轉義特殊 token 時會被單個請求打崩的棧溢位問題。此前 d1-omni 與 kev 兩個 prompt 用 std::regex_replace 處理請求文字里的 "<|name|>"，libstdc++ 會按名字的每個字元遞迴，輸入 "<|" 加 30000 個字母即可撐爆 HTTP 執行緒棧，程序以 SIGSEGV 退出。
機器之心AI 評分61
Karpathy 估算全球僅約 5000 人能接觸最前沿 AI 系統
Karpathy 在推文中估算，全球只有約 5000 人（約 0.00006% 人口）能直接使用最前沿的內部 AI 系統；約 2000 萬數學與程式設計專業人士在用前沿級 LLM 做專業工作，另有約 60 億人（約全球 75%）幾乎沒接觸過 LLM。他把這種分化稱為一條越來越陡的能力漏斗，成因是任務規模、能力鋸齒狀分佈（集中在可數字化、可驗證、商業價值高的領域）與存取權限分層。這些內部系統可讓成千上萬 Agent 組成叢集連續執行數週，推進大型軟體專案、發現零日漏洞。
Hacker News front pageAI 評分28
HN 討論：LLM 何時接管軟體架構，程式設計技能還剩幾年
HN 上一條提問帖討論 LLM 何時能接管軟體架構設計、不再需要人類留在設計環節。發帖者認為程式碼、數學這類有明確對錯的任務已被充分 RL，下一步就是讓 Anthropic、OpenAI 等收集好架構與壞架構的資料集做 RL；他提到 2024 年 LLM 還只是高階自動補全，如今業界已在談用 agent 搭「軟體工廠」，並判斷幾年內實際程式設計技能的需求會消失九成，產品負責人這類軟技能崗位更受青睞。帖子目前 9 分、3 條評論，屬觀點討論，沒有官方資訊。
llama.cpp releasesAI 評分41
llama.cpp 支援批次內混合 embd 與原始 token
llama.cpp 合併 PR #29622，在單一批次中同時支援嵌入向量（embd）和原始 token，並新增 llm_arch_supports_mixed_batch 為 false 時的檢查分支。改動包括固定圖拓撲、為混合場景設定專用輸入、移除 set_tensor_backend、將 is_embd 改為 type，並統一 m-rope 位置處理。
llama.cpp releasesAI 評分42
llama.cpp 修復截斷後溫度大於 0 時 n-gram 草稿被拒的問題
llama.cpp 發布 b11387 版本，修復了在截斷後溫度大於 0 時 n-gram 草稿被拒絕的問題（PR #29924），由 NVIDIA 的 Pranesh Gonegandla 參與提交。
llama.cpp releases● 精選AI 評分69
llama.cpp 為草稿模型與 MTP 加入機率取樣
llama.cpp 合併 PR #27694，為 simple draft 與 MTP 推測解碼引入機率取樣：草稿端按機率取樣，目標模型用拒絕取樣驗證，並修復草稿取樣器與目標模型共用 RNG 流等問題。新增開關控制機率草稿取樣，預設仍為貪心；語法約束請求回退到 argmax，同時支援在拒絕取樣中處理語法約束。改動由 NVIDIA 工程師參與提交，隨各平台建置一同發布。
Hacker News front page● 精選AI 評分81
Liquid AI 發布 LFM2.5-24B-A2B 端側 agent 模型
Liquid AI 發布 LFM2.5-24B-A2B：24B 引數、每 token 僅啟用 2B 的推理模型，面向端側私有 agent，權重開放，已在 Hugging Face 和官方 Playground 上線。它是 LFM2.5 系列最大也是最後一款模型，上下文從 32K 擴至 131K，詞表由 65K 翻倍到 128K，預訓練從 17T 擴到 33T token。
Hacker News front pageAI 評分13
HN 提問：國有化 Alphabet 並把 LLM 移出 Google 搜尋
這是 Hacker News 上的一條假設性提問，並非真實政策動向：發帖人設想美國政府通過憲法修正案將 Alphabet 國有化，明確目標是把 Google 搜尋恢復到 2010 年的效果水平，並從搜尋的前端和後端移除全部 LLM 功能。他真正想問的是，為了讓網際網路上重新出現一個真正可用的搜尋方案，人們願意接受什麼樣的代價。帖子發布於 2026 年 10 月 6 日，目前 4 分、5 條評論。
Hacker News front pageAI 評分41
回應 Rich Hickey：LLM 仍是工具，用好它需要技能
作者回應 Rich Hickey 於 2026 年 10 月 11 日發表的《"AI" is Not a Tool》，認為 LLM 屬於工具而非自動化，能否用好取決於使用者的技能。編譯器與電子表格同樣自動完成大量工作，但仍由人指定輸入、檢查結果並決定下一步，因此自動生成文字不該被排除在工具之外。作者也承認用摘要代替讀論文會損失學習機會，但可以讀原文再用 LLM 質疑自己的理解；同時批評「失控」「越獄」「密謀」等擬人化措辭，把軟體故障說成人的動機。
llama.cpp releasesAI 評分20
llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包
llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
機器之心● 精選AI 評分68
AlphaGo 核心作者稱 LLM 不會推理，離開 DeepMind 創業
AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理，並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果，而 LLM 的思維鏈仍只是預測下一個 token，缺少可檢查的認知狀態、知識與推理的分離，且常事後編造解釋。Yann LeCun 表示讚賞，認為真正推理必須涉及搜尋。
llama.cpp releasesAI 評分45
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
r/LocalLLaMA top of the dayAI 評分70
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp releasesAI 評分40
llama.cpp 新增 nimble 決策模型支援
llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；
llama.cpp releasesAI 評分42
llama.cpp 新增 pplx-decider 模型支援
llama.cpp 發布 b11571 建置，新增對 pplx-decider（vLLM decision 2）模型的支援，並加入更嚴格的模型校驗、明確命名規則等改動。該版本同步提供 macOS、Linux、Windows、Android 各平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp releases● 精選AI 評分82
llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
Hugging Face blog● 精選AI 評分81
LiquidAI 發布 LFM2.5-24B-A2B：2B 啟用引數的端側 Agent 推理模型
LiquidAI 發布 LFM2.5-24B-A2B：總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型，專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答，能呼叫工具，上下文由上一代 32K 擴到 131K，詞表從 65K 翻倍至 128K。
量子位● 精選AI 評分88
Anthropic 實測：GLM-5.2 端到端自主複製攻陷 8 臺裝置
Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應（ARA）」安全實驗：在 8 個 GCP 節點（Android 15 redroid）組成的隔離網路裡，GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置，另 1 次拿下 7 臺。研究還顯示，Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B；
llama.cpp releasesAI 評分37
llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。