llama.cpp CUDA 重做 top-k 選擇:大行數改用 radix
llama.cpp 的 CUDA 後端重做 top-k 演算法選擇,大行數場景改用按行網格的 radix select 替代 CUB 逐行 DeviceTopKKernel,在 qwen4exp 34,816 tokens 上啟動次數從 1,671,253 次降到 2,329 次,耗時從 5,761.8 ms 降到 941.8 ms。
依意思最接近的 30 筆
llama.cpp 的 CUDA 後端重做 top-k 演算法選擇,大行數場景改用按行網格的 radix select 替代 CUB 逐行 DeviceTopKKernel,在 qwen4exp 34,816 tokens 上啟動次數從 1,671,253 次降到 2,329 次,耗時從 5,761.8 ms 降到 941.8 ms。
llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer 支援,並對兩者做了最佳化,還重構了 tiled topk kernel。這批改動隨建置 b11874 發布,覆蓋 macOS、iOS、Linux、Android、Windows 的預編譯包,含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 Adreno GPU、Hexagon NPU 版本。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
a16z 合夥人 Olivia Moore 發布消費者 AI 百強應用報告:ChatGPT 仍遙遙領先,Suno、ElevenLabs 等中小產品展現出持久力。報告發現社交、約會、電商、旅遊、金融、健康等類別在百強榜上完全沒有產品入選,美國也僅 2.2% 的家庭為 AI 付費。
機器之心正式啟動「AI 中國」2026 年度榜單評選,申報通道現已開放。評選設六類獎項:最強 AI 技術實力機構 TOP 10、人工智慧領軍企業 TOP 20、最佳 AI 模型 TOP 20、最佳大模型產品及應用 TOP 20、具身智慧領軍企業 TOP 10、ScienceAI 領軍機構 TOP 10,覆蓋基礎模型、具身智慧與 AI for Science 等方向,符合條件的企業與創新團隊可報名參與。
ICANN 是負責分配網路頂級域名的機構,本輪時隔多年再次開放申請,共收到 1615 份申請,來自 481 個申請方。AI 是最集中的題材:Meta 與 OpenAI 等 10 家公司申請 .agent,包含 OpenAI 在內的 7 家申請 .agi,6 家申請 .asi,OpenAI 三個字尾均有提交。頂級域名即網址末尾的字尾,如 .com、.org 與 .pizza;目前公布的只是申請名單,能否獲批尚無定論。
OpenAI CEO 奧特曼在內部員工會議上提出 AI 競賽的三種終局:建立全球監管機構、頂級實驗室合併為一,以及一家公司率先突破關鍵技術。最極端情形下,率先突破的公司甚至能讓競爭對手的 GPU 集體癱瘓,奧特曼稱這是「糟糕透頂」的結局。前兩條分別參考 IAEA 與 CERN 模式;他也承認 OpenAI 目前無法輕易放棄技術領先爭奪。
llama.cpp 發布 b11505,修復 Vulkan 後端 TOP_K 運算元在 +inf/NaN 輸入和 k=1 負值時的錯誤。原 bucket search 從 [0, 0xFF800000) 起算,+inf 與 NaN 永不被計數,可致 NVIDIA 上掛起或裝置丟失、AMD 上索引錯誤,並漏掉真實 top 值。
a16z 第七版《百強 AI 消費者應用》報告首次新增月收入榜單,Meshy 位列第 31 名,是榜上唯一的 AI 3D 公司。該榜單依據資料分析公司 YipitData 追蹤的美國消費者銀行卡消費資料排名,同榜還有 OpenAI、Anthropic、Canva、Superhuman、Higgsfield。
k10s 是 Go 與 Bubble Tea 寫的可點選 Kubernetes 終端 UI:滑鼠可點選行與面板,ctrl+p 統一搜尋資源型別與物件,啟動時不註冊任何 watch,informers 按需懶載入。它內建 AI,ctrl+a 用自然語言提問時會自動注入當前 context、名稱空間、資源型別與選中物件,回答針對該物件;同時相容 k9s 風格的 plugins.yaml 自訂動作。
白宮召集扎克伯格、貝索斯、馬斯克、Anthropic 的 Dario Amodei 等主要科技 CEO 簽署 AI 安全承諾,川普稱其具有道德約束力。川普同時簽署行政令,正式將 AI 重新命名為超級智慧。與此同時,Meta 和 OpenAI 正為 AI 產品換上更友好的形象,但消費者中僅 2% 願意為此付費。
文章在凱文·凱利 2016 年出版的《必然》問世十年後,逐條回看他當時對 AI 的判斷。他預言到 2026 年 Google 的主業將不再是搜尋而是 AI,AI 會由兩三家通用雲端商業智慧形成寡頭格局,形態更像可按需取用的 AWS 式廉價基礎設施,且絕大多數是狹窄的專用軟體大腦;人們還能用對話語氣向雲端提出任何問題。文中另提到 Google 研究者 2017 年發表《Attention Is All You Need》,提出 transformer 架構。
HackerRank 的 AI 面試 agent Chakra 結束約六個月 beta,週一起正式向企業客戶開放,測試期間已完成逾 50 萬場面試,Snowflake、Snorkel、Capgemini 等公司參與試用。候選人要在帶 AI 助手的畫布上處理真實程式碼倉庫任務,Chakra 會依據其操作追問思路,評估批判性思維、判斷力與「AI fluency」,即如何向 AI 描述問題、判斷其輸出並引匯出解法。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
馬斯克在 X 上表示,Grok 4.7 在 AA Cyber Index 上排名第一。該帖未給出具體分數、測試範圍或與第二名的差距,也未說明該指數的評測方式與更新日期。
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune(KT-FT),讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力,LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5~21.2 倍。該方案已作為執行後端接入 LlamaFactory,CPU 側用 AVX-512/AMX 指令集計算專家,支援微調與推理在同等硬體下一鍵執行。
Jev 發布 33 天后熱度迅速消退,這篇評論借它批評 AI 行業靠營銷話術製造期待。文章指出 Jev 本質是通用分類器,宣稱不會幻覺、更快更便宜,但輸出仍會出錯,且已有開放權重模型在部分任務上價效比更高,並可在本地執行。作者還稱其非自迴歸決策模型思路早於 Jev 一年半出現,並由此質疑行業四年來的創新增量。
川普推動把「人工智慧」改名為「超級智慧」,矽谷部分有影響力的人物正在跟進。馬斯克在川普表態數小時後即表示支援,並承諾把 SpaceXAI 更名為 SpaceXSI,是回應最快的一位。不過大眾仍普遍沿用 AI 這一說法。川普稱白宮認為「超級智慧」是更被接受、更準確的新術語。
Kimi K3.1 Pro 在 Terminal-Bench 4.0 上得分 65.7%,超過 GPT-6 Astra 的 58.2%,略低於 Claude Opus 5.5 的 66.4%。該基準用嚴格的任務專屬測試評估 coding agent 在真實、資源受限的終端任務中的表現。
田淵棟在播客中稱,把 GPT-5 當合作者完成在 Meta 的最後一篇論文(grokking 研究)後,效率提升約 6 到 10 倍,由此判斷自己的工作五年內會被取代,於是聯合創辦 Recursive Superintelligence。該公司今年 5 月結束隱身,以 46.5 億美元估值融資超 6.5 億美元,GV 和 Greycroft 領投,輝達、AMD 參投。他同時強調模型自己想出的點子仍很平庸,研究閉環中最難自動化的是提出想法,並表示公司會開源研究成果。
ttok 1.0 發布,預設分詞器從 GPT-4 改為 GPT-5/GPT-6。OpenAI 尚未官方確認 GPT-6 沿用 GPT-5 系列的分詞器,但 William Liu 的實驗顯示,5.5、5.6 Sol/Terra/Luna 與 6 Astra/Sol/Luna 這七個 GPT 模型在 31 個樣本上 token 數完全一致,均為 44,794,GPT-6 在這批語料上沒有增加輸入 token。
Karpathy 在推文中估算,全球只有約 5000 人(約 0.00006% 人口)能直接使用最前沿的內部 AI 系統;約 2000 萬數學與程式設計專業人士在用前沿級 LLM 做專業工作,另有約 60 億人(約全球 75%)幾乎沒接觸過 LLM。他把這種分化稱為一條越來越陡的能力漏斗,成因是任務規模、能力鋸齒狀分佈(集中在可數字化、可驗證、商業價值高的領域)與存取權限分層。這些內部系統可讓成千上萬 Agent 組成叢集連續執行數週,推進大型軟體專案、發現零日漏洞。
llama.cpp b11800 為 QSA 新增融合運算元,並將原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用 ggml_top_k_mask,DSA 模型與 DeepSeek V4 CSA 也改用該運算元。它保留 top-k 選中與額外保留的 mask 單元、其餘置為 -inf,可按 head 逐行選擇,後端不支援時回退原路徑。
在 Criteo 任職的初級工程師 Elise Baturone 認為,AI 不會讓軟體工程師消失,真正的風險是資深工程師消失、所有人永遠停在 Junior 階段。她把自己的 agent 調教成導師,用蘇格拉底式提問做理解檢查,並把「提問」和「review」當成需要自己練的技能:追問 agent 解釋設計選擇、引用來源、論證可疑方案,常能讓它自己發現錯誤。她承認這更費 token,但先弄懂再上線更省事;
llama.cpp 發布 b11710,主要變更是 CUDA 後端新增 grouped experts 的 top-k 融合,並把它接入 graph_optimize,同時補上測試。同批提交還包含多處 HIP 修復,最終改為按 HIP 版本做條件編譯。
Artificial Analysis 最新文生影片榜單中,影視公司 Utopai Studios 的模型 Utopai X 以 1150 分位列第二,與第一名阿里 Wan 3.0 僅差 7 分,據福布斯估算其估值約 10 億美元。該榜單由評審在不知道模型名字的情況下盲投產生;Utopai X 以 MiniMax 開源的影片模型 H3 為底子做後訓練,10 項能力中有 7 項比基座更接近頂尖水平,音訊同步、運鏡控制與物理提升最明顯。
超聚變在 2026 OCP 全球峰會(10 月 12 日,美國聖何塞)展出 TokenBox 本地 AI 超級工作站,單機可支援最高 1.6 萬億引數模型,包含 DeepSeek V4 Pro,資料完全本地留存,企業無需專用機房即可本地獲得大模型能力。同場還展出智算、超節點元件與 800V HVDC 電源系統,並發表《Next-Generation Power & Cooling Solutions》主題演講,聚焦供電、散熱與互連。
輝達《State of AI in Telecommunications》報告顯示,89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製,用於自主網路、客服等關鍵負載,並把閉源模型留給價值最高的場景;輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model(由 AdaptKey 在開源電信資料集上微調),並提供基於 NeMo 的端到端微調流程。
Google 和 Meta 在幾天內先後發布各自的前沿模型,並聲稱這些模型能與 OpenAI、Anthropic 最強的模型正面競爭。此前 Anthropic 與 OpenAI 被視為遙遙領先,Google 看起來落後很遠,Meta 雖投入數十億美元重振 AI 業務,仍未被當作真正的競爭者,中國新出的模型也被認為在追趕。兩家新模型的亮相,讓一度看似定局的 AI 競賽重新變得開放。
Hark 正式發布 AI 個人助理 Hark Pro,可免費使用,重度使用者另有訂閱檔。其底層是專門為操作電腦訓練的模型,能接入信箱、日曆、硬碟與信用卡等,替使用者完成數字任務;介面為全屏,中央是對話方塊,另有 prompt 資訊流與可定製 panels 小儀表盤。演示中它主動提醒待批費用、待回郵件與會議,並提議代訂機票,還曾替人完成加州 DMV 的車輛註冊續期,且會在小視窗展示瀏覽網頁的過程以建立信任。公司計劃 2027 年推出配套的 AI 原生硬體。