找到 10 筆
Memorilla 是一種面向凍結 LLM 的記憶系統：它先把文件一次性編碼為可複用的向量，再學習把每次查詢所需的資訊放進模型輸入的嵌入空間，只需 16 個記憶 token。在覆蓋個性化、長文件與知識密集型問答的八個基準中，它在五個上優於 Mem0、MemoRAG 等方案；在 FactKG 上準確率達 84.33%，超過全上下文推理的 80.43%，而表示源文件所用 token 少了 108 倍。
免費開源的離線 AI 助手 Survival LLM 發布，AI 模型與應急資料庫都裝在本地，聯網完成設定後即可斷網使用，提問不會離開電腦。它會按電腦記憶體自動選擇模型，從 128GB 記憶體 Mac 上的 Nemotron 3.5 Super（80GB 下載）到 16–31GB 機型的 IBM Granite 4.2 8B（6GB）。
作者搭建了魔獸世界私服 jankcraft.xyz，並開發瀏覽器客戶端，PC 和手機均可免費遊玩。隨後用自訂 MCP 與 agent harness 通過 websocket 控制客戶端，讓 LLM 自動玩遊戲，agent 頁面已上線。本地模型需服務端開啟 CORS，作者自託管的幾個模型可能因用量增長下線；24GB 記憶體可跑 Qwen3.8-27B-GPTQ-W4A16，16GB 記憶體可用 vLLM 跑 Gemma4-e4b-coder。
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家，在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
蘋果發布 14 英寸 MacBook Pro，首發搭載 M6 晶片，主打端側 AI 效能。M6 為 12 核 CPU 配 12 核 GPU，每顆 GPU 核心內建神經加速器，另有雙 16 核神經引擎；官方稱圖形效能較 M5 提升最多 30%、AI 負載提升 25%，神經引擎提升最多 1.9 倍。LLM 首 token 處理比 M1 機型快最多 13 倍、比 M5 快 1.3 倍；
Minotaur 這套不依賴語言模型、也不用 GPU 的 AI 架構，能完成演繹、歸納、溯因、診斷、實驗選擇與信念修正等多種推理，全部由單個網路、單個普通 CPU 核心完成，每題約 0.25 秒。在由從未看過其程式碼的人設計的盲測中，它在一道“提問會改變證人記憶”的警方訊問推理題，以及僅憑資料學習、診斷和預測系統兩項上，與當前語言模型表現持平。文章還回顧了邏輯理論家、通用問題求解器、專家系統、Prolog 與日本第五代計算機專案等前語言模型路線各自的止步之處。
MLX 今日發布新版本，支援用 RDMA over Thunderbolt 把多臺 Mac Studio 組成叢集：4 臺 M5 Ultra 執行近萬億引數的 Muse Spark Open（816B MoE，NVFP4 精度）解碼超過 36 tokens/s，高於人類平均閱讀速度。單臺 512GB Mac Studio 可跑 Qwen 3.8 27B 與 Mistral Medium 3.5 128B，在 65,536 上下文下分別佔用最多 68GB 和 158GB 記憶體。
MLX 發布 v0.31.0，新增 Qwen 3.5 張量並行支援、JoyAI LLM Flash 模型，並加入 --prefill-step-size 命令列引數以權衡速度與視訊記憶體。該版本集中修復了 CacheList 儲存/載入、MLA 模型混合量化、MiniMax M2.5 分片 RMS Norm 等問題，同時改進服務端快取並新增 cached_tokens 用量欄位。
開源工具 mlsubgen 可在本機為影片生成 45 種語言字幕，僅支援 Linux 與 NVIDIA 顯示卡。它按每段語音檢測語言而非整檔案，同時執行兩個語音識別器並用本地 LLM 調和，且優先使用內嵌字幕軌（含藍光 PGS 點陣圖 OCR），無字幕時才聽音訊。模型佔用 30–65 GB 儲存，需 16–32 GB 記憶體，作者在 24 GB RTX A5000 上實測，純聽音訊時約每個目標語言耗時接近即時。
哈爾濱工業大學（深圳）團隊的 STILL 被 NeurIPS 2026 接收，這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架：先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax，其餘交給線性注意力，並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化，16K 上下文下視訊記憶體削減 80%、預填充加速 83%；