LM Studio 接入 oMLX 引擎,可直接執行已有 MLX 模型
LM Studio 新增 oMLX 推理引擎;使用者下載該引擎後,可直接用它執行本地已有的 MLX 模型,無需重新下載模型。該整合由 LM Studio 與 Hugging Face 以及 jundotkim 合作完成。官方未披露支援的模型範圍、硬體要求與效能表現。
找到 50 筆
LM Studio 新增 oMLX 推理引擎;使用者下載該引擎後,可直接用它執行本地已有的 MLX 模型,無需重新下載模型。該整合由 LM Studio 與 Hugging Face 以及 jundotkim 合作完成。官方未披露支援的模型範圍、硬體要求與效能表現。
DeepSeek 介紹 DeepInfer 推理引擎,包含高效能核心與最佳化推理引擎、分散式推理與投機解碼、SWA Bounded Replay 和結構化輸出。官方稱未來 DeepSeek 模型的推理程式碼及後續最佳化也將在此發布。帖文未給出效能資料、支援模型或上線時間。
Inco AI 推出開源推理引擎 Splash,專為 Apple Silicon 本地執行 Qwen3.6-35B-A3B 與 Qwen3.8-27B 最佳化,併為每個模型配備 DFlash 2 草稿模型做投機解碼。在 48GB M5 Pro 測試中,Qwen3.8-27B 短提示解碼約 74 tokens/s、32K 上下文 54 tokens/s,約為次快引擎的兩倍;四路併發短提示合計吞吐 170 tokens/s,為次快引擎的 3.9 倍。
作者發布專為 RTX5090 打造的推理引擎 MegaCapybara,聚焦 Qwen3.8 27B,解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍:單任務編碼可達 500+ t/s,12 個 agent 併發、800k 上下文時可達 2000+ t/s。引擎具備 VRAM-RAM-DISC 快取管理、雙層 Loop Guard、帶後設資料的自研權重格式(可對比 BF16 顯示 KL 與 top-1% 損失)以及圖形介面,採用 MIT 許可,原始碼與權重建置器後續發布。
LM Studio 宣布與 inco_ai 合作,在發布首日(day 0)接入其 Splash 推理引擎,用於在本地執行 Qwen3.8-27B。官方給出的實測資料是在 M5 Max 上最高可達 144 tok/s。使用者可通過 LM Studio 官方部落格的連結獲取並立即執行。
火山引擎啟動 Seedance 2.5 4K 模型首批企業試用,與作品繫結,定向供應全球 20 家工作室和導演。該版本是 Seedance 2.5 這一代中的最強模型,主打人物表演更細膩自然、參考生成與編輯的一致性更精細。據已試用模型的工作室反饋,價格沒有預期中高,可先用 480P 生成樣片,滿意後再用 4K 重新生成。目前 20 部在製作品中,最早下月就有衛視 S 級 IP 播出。
10 月 27 日,行元智慧發布跨本體資料引擎 Chorus 眾行,可把智慧眼鏡、胸戴相機、腕部相機、UMI 裝置、智慧頭環採集的人類操作影片,轉成適配不同機器人本體的預訓練資料。官方測試顯示,平均可用資料轉化率為 85%;在 16 種本體適配的配置下,每小時有效機器人軌跡處理成本降至 15 元,再疊加 3 倍指令增廣後實現約 40 倍擴容,單位訓練樣本等效成本為 5 元/小時。行元智慧還計劃在年內推出 Duet 同行,用於真實場景部署與人類反饋迴流。
作者讓 Claude Opus 5.5 接手停更約 10 個月的純 Python WebAssembly 引擎 pwasm,發布 0.2a0。在極少追加提示的情況下,Claude 提交 42 個 commit,使其支援幾乎全部 WASM 規範,PyPI 上的 wheel 還打包了 MicroPython、QuickJS 與 Micro QuickJS 可用的 WASM 建置。作者強調該版本仍為 alpha,完全不足以信任。
LM Studio 官方帳號宣布 Splash 引擎已開源,程式碼託管在 GitHub 的 incoai/splash 倉庫。官方僅給出倉庫連結,未披露該引擎的具體功能、支援的模型格式或硬體要求。
蘋果推出搭載 M6 晶片的新 iMac,10 月 28 日太平洋時間 10:10 開啟預購,11 月 6 日正式上市。這是首款配備雙 16 核神經引擎的 Mac,每個 GPU 核心內建神經加速器,統一記憶體最高 32GB,官方稱端側 AI 效能最高為 M4 版 iMac 的 5 倍、比 Intel 機型快 18 倍。
PaperPilot v0.6 是一個用純 Rust 編寫的本地 PDF 工具:同一套引擎分別以 MCP 伺服器、CLI、瀏覽器 WASM、Tauri 桌面應用和執行在 localhost:7823 的本地 REST API 五種形態提供,檔案不離開本機,也不發起雲端呼叫。MCP 伺服器可以被 Claude Desktop、Cursor 等客戶端直接呼叫,用來合併、拆分、OCR 和壓縮 PDF。
AI Engineer 播客最新一期由 swyx 對話 Moshi CEO Anekha Sokhal,主題是她為交易員打造的市場資訊推薦引擎。她把 Moshi 形容為 Bloomberg、Claude 與 Netflix 的結合:行情資料、操作介面,再按交易員的持倉給出定製推薦。她出身 Warwick 數學與統計,在摩根大通做能源衍生品交易,後獲富布賴特獎學金赴美創業。節目還談到可信信源、文件抽取、自建還是採購模型,以及 AI 工程師被要求「你就是整個團隊」的壓力;
DeepSeek 以 Apache 2.0 協議開源了支撐其大規模生產服務的推理框架 DeepInfer,目前僅支援 DeepSeek-V4.1-Flash 一個模型。該框架包含 FlashMLA、DeepGEMM、DeepEP 等最佳化核心,Attention DP 與 MoE EP+EPLB 並行,DSpark 投機解碼(草稿長度預設 5),以及預設開啟的非同步排程、批不變推理、確定性取樣,並支援正則、JSON schema、EBNF 結構化輸出。
Keplearn 是一個用 Rust 編寫的確定性符號迴歸引擎,從 stdin 讀入 TSV/CSV 表格資料,輸出候選閉式方程的 JSON。它編譯成單一靜態二進位制、零依賴,精確規律通常在毫秒級解出,難題可用 --timeout 設上限;結果裡的 r2 由列印出的方程本身重新計算,常數會吸附到有理數及 pi、e、sqrt(2) 的倍數並逐次校驗。
作者以親歷說明 AI 讓「更敢做」變得可行:藉助 SOTA 模型,他只花個位數小時就做出可用的正則引擎、ripgrep 分支和更快的 Rust 建置,而這類工作過去要一年以上。他還為常被當成 AI 生成垃圾的 pgrust(用 Rust 重寫 Postgres)辯護,指出其維護者在測試中發現了多個真實 Postgres bug,涉及數值、格式快取、pgcrypto 與 money 溢位。
Kimi K3.1 Pro 可直接在 Blender、Unreal Engine、Godot 和 CAD 等 3D 建模與遊戲行業常用工具中工作。在測試多檢視渲染轉 CAD 程式碼生成的 BenchCAD 上,它藉助這些工具得分 92.7%,接近 Claude Opus 5.5 的 96.2% 與 GPT-6 Astra 的 95.9%。官方稱它能產出較完整的專案,覆蓋資產搭建、場景組裝、動畫與渲染。
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
Qwen3.8-27B 已在 iPhone 18 的 Apple Neural Engine 上執行,解碼速度 15–60 tok/s;作者隨後確認 24K 上下文下 K/V 用 int8、delta net 保持 FP16,峰值可達 70 tok/s。模型基座是 PrismML 的 Bonsai-2,從 1.585 bpw 重新量化為 1.5 bpw(每 4 個權重 6 位向量量化),並加入約 2.8 bpw 的 dflash-2 草稿模型加速,代價是接受率小幅下降。
Google DeepMind 發布世界模型 Genie 4,支援用鍵盤操控角色與鏡頭,並用自然語言即時改變天氣、新增物體,是該系列首個原生生成即時音訊的版本。Gemini 深度參與模擬:Gemini Omni 提供真實世界視覺與行為知識,Gemini 3.8 Flash 負責拆解任務、逐步檢查並調整計劃,Google 稱這一方向為混合世界模型。
LM Studio 推薦開源 MLX 引擎 oMLX,稱其是面向 Apple Silicon 的高效能、受歡迎的推理引擎,由 @jundotkim 建立並領導。該專案開源且社群活躍,推文附有 GitHub 連結,未給出更多效能資料或安裝細節。
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端,開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving(disaggregated serving),這些能力由專案維護者與官方合作完成。
Meta 發布 Muse Spark Open,為讓先進模型更易獲取,該模型針對最新 MLX 框架做了最佳化,可在兩臺 Apple M5 Ultra Mac Studio 上執行。它同時支援 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、llama.cpp、Unsloth 等主流推理引擎,並針對 AMD、Apple、Intel 與 NVIDIA 晶片最佳化。
蘋果發布新款 14 英寸 MacBook Pro,首發搭載 M6 晶片,採用 12 核 CPU、12 核 GPU(每顆核心帶 Neural Accelerator)和雙 16 核神經網路引擎。官方稱其圖形效能較 M5 提升最多 30%,端側 AI 負載提升最多 25%,神經網路引擎提升最多 1.9 倍;LLM 首 token 處理速度比 M1 機型快最多 13 倍、比 M5 機型快 1.3 倍。
蘋果發布 14 英寸 MacBook Pro,首發搭載 M6 晶片,主打端側 AI 效能。M6 為 12 核 CPU 配 12 核 GPU,每顆 GPU 核心內建神經加速器,另有雙 16 核神經引擎;官方稱圖形效能較 M5 提升最多 30%、AI 負載提升 25%,神經引擎提升最多 1.9 倍。LLM 首 token 處理比 M1 機型快最多 13 倍、比 M5 快 1.3 倍;
開發者用 Claude Code 建置了 RPG 世界引擎 Chronicle,並通過 MCP 讓 Claude Code 本身擔任遊戲主持人。在私有世界中貼上一條 claude mcp add 命令即可接入,Chronicle 自身不呼叫模型,因此複用已有的 Claude 訂閱額度。每回合約需一分鐘(使用 Sonnet 輔助時實測 30 至 60 秒),但僅限私有世界,無法用於多人共享世界。
llama.cpp 發布 b11364 版本,新增對 nimble 決策模型的支援(PR #29844)。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台,提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置;
llama.cpp 發布 b11739,為 jinja 模板引擎實現 unique 過濾器,並順帶加入 inline key_of 與對齊修復。建置產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Linux(含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO)、Windows、Android 及 openEuler 昇騰平台,其中 macOS arm64 的 KleidiAI 版本與 ope…
llama.cpp 發布 b11724 建置,主要修復 CUDA 後端 flash_attn_ext_vec 中共享記憶體的寫後讀(WAR)冒險與 KQ 寫後讀競態,避免注意力計算出錯。補丁由社群貢獻者提交,並附 ChatGPT 協助說明,同時整理了 KQ 同步相關注釋。
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家,在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
MLX 發布 v0.31.0,新增 Qwen 3.5 張量並行支援、JoyAI LLM Flash 模型,並加入 --prefill-step-size 命令列引數以權衡速度與視訊記憶體。該版本集中修復了 CacheList 儲存/載入、MLA 模型混合量化、MiniMax M2.5 分片 RMS Norm 等問題,同時改進服務端快取並新增 cached_tokens 用量欄位。
llama.cpp 重構了 Intel XMX 矩陣引擎上的多列 mul_mat_vec_q,並新增融合 gate/up 核心:一次啟動即算出 up*act(gate),最多支援 16 列。多列路徑覆蓋 2 到 80 列啟用,面向投機解碼驗證(每步 2 到 8 個 token)與 9 到 80 token 的短 prompt 批次。
蘋果發布新款 iPad mini,搭載 2nm 工藝 A20 Pro,官方稱 AI 效能較上代最高提升 4.5 倍,可用於執行本地大模型。512GB 版本配備雙 16 核神經網路引擎、合計 32 核,統一記憶體頻寬提升逾 2 倍,GPU 每顆核心內建神經加速器。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
llama.cpp 發布 b11871,在遞迴遍歷前先檢查 JSON 巢狀深度,超過 128 層直接返回 400,避免請求打爆 HTTP 執行緒棧、讓 llama-server 崩潰。此前 schema builder、jinja 引擎與決策程式碼都遞迴遍歷請求 JSON,macOS 上幾百層深的工具 schema 就會觸發 SIGBUS,Linux 約一萬層觸發 SIGSEGV。
AI 供應鏈合規引擎 RetailReady(YC W24)正在招聘實施崗,年薪 10 萬至 14 萬美元,另含 0.02% 至 0.06% 股權,工作地點在舊金山,需每月最多約 50% 時間出差。該公司已融資 660 萬美元、簽約 50 多家客戶,過去 12 個月營收增長 4 倍,團隊 12 人,僅限美國公民或持簽證者,接受應屆生。
Ollama 發布 v0.35.1,通過 /v1/systemone 介面支援 Cloudflare 新開源的決策模型 Clef(27B)與 Clef Flash(9B),兩者均為多模態,請求可在文字 state 之外附帶圖片,所有問題共享該狀態並聯合打分。同一版本把聯網搜尋上限從每次回應 3 次提高到 10 次,Modelfile 新增 CAPABILITY 宣告,並更新了 llama.cpp 與 MLX 引擎。
Swift 包 AnySpeechRecognizer 發布,沿用 Apple SpeechAnalyzer 介面但可替換引擎,在裝置端用 Core ML 跑 NVIDIA Parakeet 與阿里 Qwen3-ASR,並新增說話人分離。Qwen3-ASR 覆蓋 30 種語言與 22 種中文方言(含粵語),但每段只給一個最終結果、無逐詞時間戳,速度慢於 Parakeet,更適合轉寫檔案。
DeepSeek 的 Search 與 Fetch API 現已向所有人開放,由自研搜尋引擎驅動,全球日均處理數億次請求,每個端點定價為每 1000 次呼叫 0.75 美元。通過 DeepSeek Harness、Claude Code 和 Codex 中的服務端工具發起的 Search 與 Fetch 呼叫,目前對 DeepSeek API 使用者免費,計費自 2026 年 10 月 31 日 16:00 UTC 開始。
DeepSeek 上線 Search 與 Fetch 兩個工具 API,按每 1000 次成功請求 0.75 美元計費。Search 由其自研搜尋引擎驅動,返回標題、連結、長摘要與網頁正文,支援 site:、lang:、after: 等查詢運算子,單次最多 50 條結果,每條帶 0–3 的重排分與 0–4 的權威度分級;Fetch 把指定 URL 的網頁抓取為 Markdown。
Whistle 是一個 16.9 MB 的單檔案端側語音識別模型,無依賴、在 CPU 上執行,與 Needle 共用同一套 C++ 引擎。它支援英語、德語、法語、西班牙語、義大利語、荷蘭語和波蘭語,單次最多處理 30 秒 16 kHz 單聲道音訊,可自動檢測語種,並輸出逐詞時間戳與語音嵌入。
GPT-6 系列在 COBOL、Fortran、Visual Basic 等低資源語言上的編碼與遷移能力明顯提升。在要求用 20 種語言從零建置 SQLite 相容資料庫引擎的 MultiLangBench 上,GPT-6 Astra 平均通過率 87.4%(前代 GPT-5.6 Sol 26.8%),COBOL 從 10.9% 升至 72.1%;低價版 GPT-6 Luna 達 40.3%,API 成本低約 78%。
YC 孵化的 BI 公司 Evidence 正在招聘一名軟體工程師,工作地點在多倫多、全職,崗位橫跨 Evidence Core 與 Evidence Studio,從查詢引擎一直到 agent harness,並與創始人直接共事。公司表示正在重構開發流程,目標是讓 agent 承擔軟體生命週期的絕大部分工作,使人專注於判斷力、創造力和產品思考。
開發者用自研開源推理引擎 TensorSharp,在 RTX 3080 Laptop(16GB 視訊記憶體)+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程,把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata:解碼 11.09 對 10.24 tok/s,但整程耗時 16.54 秒對 62.15 秒。
Kyojin 引擎基於 ExLlamaV3 為 AMD Strix Halo(gfx1151、ROCm)打造,讓 GLM-5.3-Flash 與 MiMo-V2.6-Flash 兩個 300B 級 MoE 模型分別裝進單臺 128GB 迷你主機。實測在 Ryzen AI Max+ 395 上,GLM 預填充 580 tok/s、解碼 26-30 tok/s,MiMo 解碼最高 44 tok/s(程式碼場景)。
YC S22 公司 Coris 在加州 Palo Alto 招聘 AI 原生後端工程師,年薪 16 萬–17.5 萬美元、股權 0.25%–0.50%,要求 3 年以上 Python/Django/Postgres 經驗,僅限美國公民或持簽證者。崗位負責 Stripe、Adyen、Fiserv、TSYS、Repay 等支付處理商的 API、webhook 與 SFTP 批次檔案接入,規模為每月數億事件、Postgres 數十億行,並維護 v2 合作方 API 與風控規則引擎。
OpenAI 的 Patch the Planet 專案藉助 GPT-5.6 Sol,在 PHP 引擎核心發現兩個記憶體破壞漏洞 PHP2Shell(CVE-2026-109618、CVE-2026-109619),研究方演示了對 WordPress、Drupal、Joomla 的免認證遠端程式碼執行,並稱受影響範圍約涵蓋七成網站。
Hex 發布從零重寫的 Hex 4.0,並宣布完成 1 億美元融資、估值 12 億美元。4.0 面向 agent 原生資料分析,以程式碼為核心,強調上下文、權限、治理與護欄,服務其超過 2,500 家客戶的協作場景。公司稱舊版資料模型和架構在 2020 至 2021 年定型,agent 工具鏈臃腫、算力引擎難支撐高併發迭代,且資料工作正分散到 Cursor、Codex、Claude 等工具中,因此選擇重寫。
AnySearch 推出 Pro 付費版,最高支援 20 QPS,標準價每 1000 次呼叫 5 美元、上線期限時優惠 3 美元,額度不過期且可疊加購買。Pro 版在自建通用搜尋引擎與 100 億網頁索引基礎上擴充套件了 20 餘個垂直領域的資料來源,面向 AI 程式設計、學術研究、金融分析等場景。開發者可通過 API、MCP、Skill 三種方式接入,使用 Search、Extract、Sub-domains 三項能力;
Bevy 0.20 發布,即時路徑追蹤渲染器 Solari 現在可通過 Metal 在 macOS 上執行,並接入 DLSS-RR 4.5 改善降噪,同時將 ReSTIR 改為預設關閉以降低開銷。BSN 場景語法改為用 @ 字首引用場景,並新增子節點全部生成後觸發的 Ready 事件;官方還正式採用 WESL 著色器語言。其他更新包括 Sprite 自訂材質、Feathers 新增下拉與可滾動列表等控制元件、平移軌道相機,本次由 227 位貢獻者提交 817 個 PR。
Wiz Research 藉助前沿 AI 模型在 PHP 核心引擎中發現多個記憶體安全漏洞,可導致未授權遠端程式碼執行與程序記憶體洩露,CVSS 最高 9.2,PHP 已於 10 月 21 日發布修復補丁。漏洞與上層應用無關,從 PHP 5.4 起近十年發布的每個版本都至少受其中一個影響,團隊已演示對 WordPress、Drupal、Joomla 的未授權 RCE,洩露的記憶體可能包含密碼、令牌、API 金鑰與證書。