依意思最接近的 15 筆
記憶張量開源 MemT 1.0 系列記憶原生模型，最大型號 Flash 總引數 288B、啟用 17B，較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支，把經驗編碼成可更新的內部矩陣狀態，據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中，Nano 三次全成功率由無經驗的 54.00% 升至 62.80%；
一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上，並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間，最初嘗試刷入 Android 系統，因記憶體只有 48MB 而失敗，隨後花幾天時間逆向工程，最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊，目前 15 分、3 條評論，作者未說明所用的是哪個 AI 模型，也沒列出具體自動化了哪些操作。
有使用者報告，用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s，編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s，且該使用者認為品質明顯更好，但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果，DDR5 平台則顯著更快。
OpenAI Devs 表示，團隊用 Rust 重寫服務層，降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集，團隊保留了廣泛複製；設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化，但未給出延遲、吞吐等具體數字或生效範圍。
OpenAI 於 9 月 21 日發布官方戰略宣告，把自動化 AI 研究員與遞迴自我改進（RSI）列為下一階段重要目標，並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員；Anthropic 同期披露，截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
官方只支援 Windows 的 ASUS ProArt P16（128GB 記憶體版）已被裝上 Arch Linux ARM 並能正常使用。作者基於 NVIDIA 面向 Ubuntu 的核心工作，補齊 ACPI 覆蓋、hid-asus 鍵盤與音訊驅動，做出可啟動映象，並擴充套件 Archinstall 4.5 來安裝硬體支援；7-Zip 單執行緒成績與 Windows 基本持平，20 執行緒壓縮約領先 5%、解壓約領先 3%。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp 發布 b11909 建置，Hexagon 後端針對 MUL_MAT_ID 加入行跳過最佳化。具體改動包括：把跳過行的清零改為向量化，把清零加入融合的 MM_ID_NX，並移除標量除法。這些改動主要影響驍龍 Hexagon NPU 上的 MoE 類推理；
llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
llama.cpp 合併多項改動，將 indexer 分數視訊記憶體佔用減半：原先同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，現改為逐頭計算並原地累加為單個 [n_pool, n_tokens] 分數。同時 CUDA 支援 4 頭、Metal 以函式常量讀取頭數、Vulkan 按 64 鍵×8 token 分塊並改用 fp16 點積，indexer 改為呼叫 ggml_lightning_indexer 且鍵只讀一次。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
記憶張量發布並開源 MemT 1.0，稱其為業內首個記憶原生基座模型，歷史資訊被編碼為可更新的內部記憶狀態，隨每輪對話逐 token 更新並可跨會話儲存恢復。兩個版本為 MemT-1.0-Flash（288B 引數、17B 啟用、336M 動態記憶）與 Nano（36B 引數、3B 啟用、10M 動態記憶）。
llama.cpp 發布 b11417 建置，CUDA 後端針對 NVFP4 型別的 mmq 累加做了最佳化，改進 mmq_vec_dot_fp4_fp4_mma 以提升效能，並修正 mma_block_scaled_fp4 迴圈的縮排。該版本建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12.8、CUDA 13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；
llama.cpp 發布 b11901 建置，SYCL 後端的重排（reorder）臨時記憶體被限制在 32 MiB（PR #31062）。該版本照例提供各平台預編譯包，包括 macOS Apple Silicon、Linux/Windows 的 CUDA 12.8 與 CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU。