搜尋

找到 34 筆

Hacker News front page10/12 21:35AI 評分69

Intel 公布 D270 推理 GPU：480GB 記憶體、350W 風冷

Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。

產品與方案 Intel D270 資料中心 GPU 推理最佳化 LPDDR5X agentic AI

Ars Technica AI10/23 17:18AI 評分42

FCC 給 Intel 一年豁免，繼續在晶圓廠用外國機器人

美國 FCC 已給予 Intel 為期一年的豁免，允許其在美國晶圓廠繼續使用外國製造的機器人。Intel 因擔心外國製造機器人禁令範圍不清，出於謹慎申請豁免；FCC 於 10 月 22 日發布命令批准。涉事機器人是沿軌道或預設路徑執行、常需操作員監督的自動導引車，用於在倉庫和工廠車間搬運物料。

政策與安全 Intel FCC foreign-made robots waiver semiconductor fab

r/LocalLLaMA top of the day10/3 07:08AI 評分19

阿里買迷你主機搭 Qwen3.8 RAG，收到 2018 年舊 CPU

一名使用者為 Qwen3.8 27B 搭建 RAG 搜尋節點，在 AliExpress 購買迷你主機，商家標稱 Intel N150 與 DDR4/DDR5，實際發貨為 2018 年的 Core i3-7020U（2 核 4 執行緒）加 DDR3 1600MHz。賣家還把 New_N150 寫進 BIOS 版本字串偽裝型號。該主機效能不足以支撐向量檢索，使用者已發起信用卡拒付。

地端推論產品與方案 RAG Mini PC 硬體欺詐 Qwen

llama.cpp releases10/22 13:39AI 評分46

llama.cpp 重構 SYCL 後端 XMX 多列矩陣乘，新增融合 gate/up 核心

llama.cpp 重構了 Intel XMX 矩陣引擎上的多列 mul_mat_vec_q，並新增融合 gate/up 核心：一次啟動即算出 up*act(gate)，最多支援 16 列。多列路徑覆蓋 2 到 80 列啟用，面向投機解碼驗證（每步 2 到 8 個 token）與 9 到 80 token 的短 prompt 批次。

地端推論開源 llama.cpp SYCL Intel XMX 量化效能最佳化

llama.cpp releases● 精選10/15 04:53AI 評分67

llama.cpp SYCL 後端為 IQ3 加持久權重重排，解碼提速最高 82%

llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排，在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次，MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊，重排感知的反量化也接入批次 prefill 的 GEMM。

地端推論開源 llama.cpp SYCL IQ3 量化 Intel Arc

llama.cpp releases● 精選10/7 10:43AI 評分68

llama.cpp SYCL 為 GLM MLA 預填充接入 MKL，pp8192 提速 2.99 倍

llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention，此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕，預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上，pp8192 從 432.80 提升到 1292.29 tok/s（2.99 倍，+198.6%），tg256 在噪聲範圍內基本不變（45.67 對 45.65）。

地端推論開源 llama.cpp GLM SYCL Flash Attention Intel Arc

llama.cpp releases10/8 10:10AI 評分41

llama.cpp b11496：SYCL 模型載入改用 pinned ring buffer

llama.cpp 發布 b11496，SYCL 後端的模型載入（bulk uploads）改為通過 pinned ring buffer 分階段上傳（PR #29608），主要影響使用 Intel SYCL 後端的使用者。

地端推論開源 llama.cpp SYCL pinned ring buffer 本地推理模型載入

llama.cpp releases10/18 04:45AI 評分45

llama.cpp b11718 恢復 FFN 路徑 ESIMD 核心並擴充套件至 Q8_0

llama.cpp 發布 b11718，恢復 FFN 路徑上的 ESIMD 核心，並將 FFN 路徑的 ESIMD 融合擴充套件到 Q8_0 量化。該改動由 Intel 的 Todd Malsbary 提交，同時移除了 test-backend-ops 中顯式引用 ESIMD 的註釋。

地端推論開源 llama.cpp ESIMD SYCL Q8_0 核心最佳化

llama.cpp releases10/24 18:59AI 評分38

llama.cpp b11860 修復大 n_batch 下的上下文測試

llama.cpp 發布 b11860 版本，唯一的程式碼變更是修復 test-llama-context 在大 n_batch 下的失敗（#31083）。該版本同時提供各平台預編譯包：macOS 有 Apple Silicon（其中 KleidiAI 版被停用）與 Intel 版，另有 iOS XCFramework；

地端推論開源 llama.cpp b11860 本地推理版本發布

llama.cpp releases10/16 23:24AI 評分45

llama.cpp b11701 新增 Beam (Reflection) 模型支援

llama.cpp 建置 b11701 加入 Beam (Reflection) 模型支援（PR #30670），官方站點為 llama.app。該版本同步釋出 macOS（Apple Silicon/Intel）、iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU…

模型地端推論 llama.cpp Beam (Reflection)本地推理跨平台建置 b11701

5 個來源 · 8 則報導閱讀原文

llama.cpp releases10/19 18:02AI 評分27

llama.cpp b11739 為 jinja 實現 unique 過濾器

llama.cpp 發布 b11739，為 jinja 模板引擎實現 unique 過濾器，並順帶加入 inline key_of 與對齊修復。建置產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Linux（含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO）、Windows、Android 及 openEuler 昇騰平台，其中 macOS arm64 的 KleidiAI 版本與 ope…

地端推論開源 llama.cpp Jinja unique filter 本地推理版本發布

llama.cpp releases10/15 16:15AI 評分40

llama.cpp 發布 0.7.0，預編譯包更新 CUDA 13 與 ROCm 10.0

llama.cpp 版本號升至 0.7.0，建置號為 b11669。此次發布的預編譯包覆蓋 macOS（Apple Silicon 與 Intel）、Linux、Windows、Android、iOS 及 openEuler，其中新增 CUDA 13（基於 13.4 庫）與 ROCm 10.0 後端，並保留 Vulkan、SYCL、OpenVINO 等選項。

地端推論開源 llama.cpp 版本更新本地推理跨平台開源

2 個來源 · 3 則報導閱讀原文

llama.cpp releases10/12 22:58AI 評分40

llama.cpp 建置 b11577 修復 vllm 多序列用例

llama.cpp 發布建置 b11577，主要修復 vllm 的 d3 多序列用例（#30408），並留下一處 TODO。同一批建置覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Linux、Android、Windows 與 openEuler，後端含 CPU、Vulkan、CUDA 12（12.4 DLLs）與 CUDA 13（13.4 DLLs）、ROCm 10.0、OpenVINO 與 SYCL，Snapdragon 版…

地端推論開源 llama.cpp 本地推理版本發布 CUDA Vulkan

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/22 07:52AI 評分38

llama.cpp 合併 SYCL FP16/FP32 反量化開關

llama.cpp 發布 b11810 建置，SYCL 後端把 FP16 與 FP32 的反量化開關合併為一項（#30740）。同一版本更新了多平台預編譯產物，涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Ubuntu 和 Windows 上的 CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。

地端推論開源 llama.cpp SYCL FP16 FP32 版本發布

llama.cpp releases10/9 02:57AI 評分43

llama.cpp b11515：SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU

llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；

地端推論開源 llama.cpp SYCL 本地推理版本發布

llama.cpp releases10/19 20:02AI 評分42

llama.cpp 的 OpenCL 後端新增 i32 GET_ROWS 與 i32/f32 複製支援

llama.cpp 建置 b11740 為 OpenCL 後端加入了 i32 型別的 GET_ROWS 行讀取，以及 i32 與 f32 之間的複製轉換（PR #30756）。這一版同時發布了 macOS（Apple Silicon/Intel）、iOS、Android、Windows、Linux 的預編譯包，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 OpenCL llama.cpp 後端最佳化版本發布

llama.cpp releases10/22 18:59AI 評分53

llama.cpp b11826 新增 MiniCPM-OCR 1.0 支援

llama.cpp 建置 b11826 在 mtmd 多模態模組中加入 MiniCPM-OCR 1.0 支援，本地推理可直接用上這一 OCR 模型。同批預編譯包覆蓋 macOS（Apple Silicon 與 Intel）、iOS、Android、Windows、Linux 及 openEuler，包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 後端。

地端推論開發工具 llama.cpp MiniCPM-OCR 多模態本地推理版本更新

llama.cpp releases10/7 05:02AI 評分36

llama.cpp 發布 b11459：ggml-webgpu 在 WASI 上停用 Dawn 原生特性

llama.cpp 發布建置 b11459，唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon（arm64）與 Intel（x64）、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL；

地端推論開源 llama.cpp ggml-webgpu WASI 建置跨平台

llama.cpp releases10/21 04:59AI 評分40

llama.cpp b11782 修復 n>1 時 completion_tokens 少計

llama.cpp 發布建置 b11782，服務端修復了 n 大於 1（一次生成多個候選）時 usage.completion_tokens 統計偏少的問題。該版本同時更新了各平台預編譯包，覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Linux（含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL）以及 Windows、Android、openEuler 等平台。

地端推論開源 llama.cpp b11782 token 統計 n>1 本地推理

llama.cpp releases10/5 15:21AI 評分43

llama.cpp 發布 b11425：CUDA alloc_deps 檢查改為與 batch 無關

llama.cpp 發布 b11425 建置，主要變更是把 CUDA 後端的 alloc_deps 檢查改為與 batch 無關（PR #29986，修復 #29980）。該版本同時更新各平台預編譯產物，覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Android arm64，以及 Windows 和 Ubuntu 上的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp CUDA b11425 本地推理版本更新

llama.cpp releases● 精選10/5 16:57AI 評分62

llama.cpp 版本號升至 0.6.0，多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…

地端推論開源 llama.cpp 0.6.0 本地推理版本發布

llama.cpp releases10/14 12:57AI 評分40

llama.cpp 發布 b11617，修復 Vulkan 編譯錯誤

llama.cpp 發布建置 b11617，唯一程式碼變更是修復 Vulkan 後端的編譯錯誤（#30495）。該版本照例提供跨平台預編譯產物，涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Ubuntu x64/arm64 的 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL，以及 Windows 的 CPU、Vulkan、CUDA、OpenCL Adreno 等組合。

地端推論開源 llama.cpp Vulkan 編譯錯誤本地推理版本發布

llama.cpp releases10/21 22:17AI 評分42

llama.cpp b11802 修復 jinja 名稱空間屬性被字典方法遮蔽

llama.cpp 發布 b11802 版本，核心改動是修復 jinja 模板中名稱空間屬性被 dict 方法遮蔽的問題（#30941）。其餘為各平台預編譯建置的例行更新，覆蓋 macOS Apple Silicon、Intel、iOS、Linux（CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO）、Android、Windows 與 openEuler。

地端推論開源 llama.cpp 版本發布本地推理 Jinja 多平台建置

llama.cpp releases10/12 09:19AI 評分43

llama.cpp 發布 b11565：SYCL 後端 DMMV 行尾讀取加保護

llama.cpp 發布 b11565 建置，主要改動是為 SYCL 後端的 DMMV 在行尾加上讀取保護，修復越界讀取（PR #29338）。這批預編譯產物同時更新了平台矩陣：macOS Apple Silicon 啟用 KleidiAI 的版本與 openEuler 兩項被標記為 DISABLED；macOS 與 iOS 另提供 Intel x64 與 XCFramework 產物；

地端推論開源 llama.cpp SYCL 版本發布本地推理建置產物

llama.cpp releases10/25 18:38AI 評分32

llama.cpp 發布 b11887，調整上下文測試預設執行緒數

llama.cpp 發布 b11887，主要變更是調整 test-llama-context 的預設執行緒數（PR #31157）。同版本仍按慣例給出各平台預編譯產物：macOS Apple Silicon（arm64）、macOS Intel、Linux（CUDA 12、CUDA 13、ROCm 10.0、Vulkan、SYCL、OpenVINO）、Windows x64 與 arm64、Android arm64，以及 openEuler 昇騰 910b 的 ACL Gra…

地端推論開源 llama.cpp 版本更新本地推理多平台建置測試

llama.cpp releases10/16 10:06AI 評分43

llama.cpp b11688 合併 AVX2 分塊累加器並更新全平台建置

llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 llama.cpp AVX2 CPU 推理最佳化預編譯建置 b11688

llama.cpp releases10/21 17:55AI 評分41

llama.cpp b11799 為 SYCL 後端加入 q8 快速反量化

llama.cpp 發布 b11799 建置，新增 SYCL 後端的 q8 快速反量化（#30775），可提升 Intel GPU 上量化模型的推理效率。該版本同時提供 macOS、Linux、Windows、Android 的多平台預編譯包，涵蓋 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 版本；SYCL 建置則分為 FP32 與 FP16 兩版。

地端推論開源 llama.cpp SYCL q8 量化反量化版本更新

X @AIatMeta● 精選10/15 17:08AI 評分81

@AIatMeta: To help make advanced models more accessible, Muse Spark Open is optimized to run on two Apple M5 U…

Meta 發布 Muse Spark Open，為讓先進模型更易獲取，該模型針對最新 MLX 框架做了最佳化，可在兩臺 Apple M5 Ultra Mac Studio 上執行。它同時支援 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、llama.cpp、Unsloth 等主流推理引擎，並針對 AMD、Apple、Intel 與 NVIDIA 晶片最佳化。

模型地端推論 Muse Spark Open MLX 本地推理開源推理引擎

9 個來源 · 13 則報導閱讀原文

llama.cpp releases10/22 23:46AI 評分39

llama.cpp b11829：rerank 佔位符僅從原始模板替換

llama.cpp 發布建置 b11829，唯一程式碼改動在 server 端：rerank 佔位符現在只從原始模板中替換（#30864）。其餘為各平台預編譯產物的常規發布，覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Linux 的 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO，以及 Android arm64、Windows 和 openEuler 多個版本；

地端推論開源 llama.cpp 本地推理版本發布跨平台建置硬體加速

llama.cpp releases10/16 10:23AI 評分41

llama.cpp b11690：ngram 快取改為按引用讀取，官網為 llama.app

llama.cpp 發布建置 b11690，common 模組中 ngram 快取的分片改為按引用讀取、不再複製，以減少複製。該版本給出的官網地址是 llama.app，預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework，Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…

地端推論開源 llama.cpp 本地推理版本更新 ngram cache 跨平台建置

llama.cpp releases10/8 12:20AI 評分41

llama.cpp b11499 發布，CUDA 的 ROLL 運算支援非連續張量

llama.cpp 發布 b11499 建置，CUDA 後端改用位元組步長實現 roll，使 ROLL 運算可以作用於非連續張量（#29547）。該版本照例提供各平台預編譯產物：macOS Apple Silicon 與 Intel、iOS XCFramework，以及 Linux、Windows、Android 的 CPU、Vulkan、CUDA 12/CUDA 13、ROCm 10.0、OpenVINO、SYCL 建置，其中 CUDA 12 與 13 分別打包 12.8、1…

地端推論開源 llama.cpp CUDA b11499 本地推理多平台建置

The Verge AI10/15 14:30AI 評分51

首批 RTX Spark 筆記本發布：Arm 晶片，Windows 專門最佳化

微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會，這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構，而非 AMD、Intel 傳統的 x64，並搭配高效能 GPU，定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作，讓 Windows 適配這批新機器。

產品與方案地端推論 RTX Spark Windows AI PC Arm 架構 Microsoft

3 個來源 · 7 則報導閱讀原文

Hacker News front page10/12 18:02AI 評分38

Eric Goldman 在 Reddit AMA 談網路爬蟲法律：反爬或使瀏覽需逐站授權

美國網際網路法學者 Eric Goldman 上週五在 Reddit 的 r/WebScrapingInsider 版塊舉辦網路爬蟲法律 AMA，認為反爬做法可能把開放的網頁瀏覽變成需要逐站授權的體驗。他強調討論不構成法律建議、僅涉及美國法，並指出 trespass to chattels（動產侵害）判例目前相當混亂，反爬措施也常被用於維持壟斷。他提到爬蟲支撐了搜尋引擎、比價工具與 AI 模型訓練，但因 Intel v.

政策與安全網路爬蟲網際網路法 trespass to chattels Reddit AMA 版權

機器之心10/13 09:51AI 評分45

物理 AI 工業具身作業系統與全球首家工業具身 6S 店發布

10 月 12 日，2026 工業具身智慧產業創新高峰論壇舉行，靈巧智慧聯合松應科技發布物理 AI 工業具身作業系統與靈巧操作模組，並推出 21 自由度靈巧手 021B。該系統以松應科技 ORCA OS 為底座，稱其為國內首個支援人形、四足、無人機等多形態機器人協同訓練的物理 AI 作業系統，已適配輝達、AMD、Intel 及摩爾線程等國產 GPU。靈巧智慧同時聯合上海人工智慧研究院、上海電氣、京東零售發布全球首家工業具身智慧 6S 店，由合資公司靈機智聯運營。

產品與方案商業具身智慧工業機器人物理 AI 靈巧手生態合作