AISpot

搜尋

依意思最接近的 26 筆

X @OpenAIDevs● 精選AI 評分77

@OpenAIDevs: You can choose “12h”, keep the 30-minute default, or mix both in one request: 12h for shared instru…

OpenAI 開發者帳號宣布,提示快取的保留時長現在可以選擇 12 小時,也可以繼續使用預設的 30 分鐘,或在同一次請求裡混用兩種時長:共享指令用 12 小時,較新的對話內容用 30 分鐘。官方表示,如果一整天都要反覆複用同一段上下文,反覆命中快取省下的錢可能明顯超過 12 小時快取多出的成本。

X @OpenAIDevs● 精選AI 評分80

@OpenAIDevs: You can now choose 12-hour prompt caching in the API.

OpenAI API 現在可以選擇 12 小時 prompt caching,快取輸入繼續按更低費率計費。該選項面向全天複用上下文的持久型 agent(如 dots):共享指令、工具和上下文可以保留在快取中更久,即使兩次請求相隔數小時,仍可命中快取並支付 cached-input 價格。對需要長時間維持同一套上下文的 API 呼叫方,這意味著可在 12 小時內跨多次請求複用同一套上下文。

Hacker News front page● 精選AI 評分79

Neuralwatt 實測:harness 快取差異可讓請求能耗翻倍

模型雲服務商 Neuralwatt 分析一個月流量發現,同一模型下不同 agent harness 的 prompt 快取命中率差異明顯,未快取輸入佔 1.6%–11.1%,而一次快取未命中會讓請求能耗約為全快取時的兩倍,GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取,97% 時只有 3 個,prefill 工作量相差 2.7 倍。

Claude Code releasesAI 評分55

Claude Code 加入空閒壓縮,長會話閒置約 54 分鐘後自動壓縮

Claude Code v2.1.299 新增空閒壓縮:超過 200K token 的會話閒置約 54 分鐘後會被自動壓縮,趕在一小時 prompt cache 過期前完成,避免下一條訊息重新處理全部上下文。壓縮閾值可用 CLAUDE_CODE_IDLE_COMPACT_MIN_TOKENS 調整,settings.json 裡的 idleCompaction: false 可關閉,兩者都需 v2.1.290 及以上。

Hacker News front pageAI 評分46

逆向工程後,AI Agent 跑在 48MB 記憶體的諾基亞 110 上

一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上,並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間,最初嘗試刷入 Android 系統,因記憶體只有 48MB 而失敗,隨後花幾天時間逆向工程,最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊,目前 15 分、3 條評論,作者未說明所用的是哪個 AI 模型,也沒列出具體自動化了哪些操作。

Pi changelogAI 評分46

Pi 1.3.0 發布,GPT-6 中途調整思考等級不再破壞快取

Pi 1.3.0 發布,在 OpenAI GPT-6(API key)上中途調整思考等級現在會保留 prompt cache;Kimi Code 改用官方客戶端的 Chat Completions 協議,K3、K3-256K 與 Kimi For Coding 中途新增工具也不再讓快取失效。切換模型時舊模型的 thinking 塊會被丟棄,不再以純文字傳給新模型;

量子位● 精選AI 評分68

Aether AI 公布 CRIS-0:0.2 秒急停、秒級重規劃

因果智慧公司 Aether AI 公布機器人系統 CRIS-0 的官方 Demo,靠提取物理因果變數而非端到端擬合驅動機械臂。在咖啡製作測試中遭遇人為移位與光照突變,系統平均 2 秒內完成重規劃,10 次隨機擾動有 9 次有效恢復;客廳長程整理可連續執行數十步,20 條模糊指令完成 18 次精準抓放,危險變數出現時 0.2 秒急停。

Hugging Face blog● 精選AI 評分69

Ai2 用 GPU 時間預算替代優先順序排程

Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。

OpenAI NewsAI 評分46

Third Moment 用 GPT-6 與 Codex 併發執行 1 萬個 agent

AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex,可同時執行 1 萬個 agent,單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化,把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘,回測時間減少 97%。

llama.cpp releasesAI 評分46

b11758: spec : save the dynamic ngram cache file (#22055)

llama.cpp 建置 b11758 修復了 speculative decoding 的 ngram 草稿快取錯誤:此前 common_ngram_cache_update 只收到新 token、缺少前面的 token,以新 token 結尾的 ngram 無法形成,上下文快取裡只剩 prompt。現在改為傳入完整歷史、把 nnew 設為新 token 數量,並在每次新請求時把 cache_size 歸零。

X @elonmuskAI 評分29

X 時間線推薦換用新 AI/SI 排序與檢索模型

馬斯克公布 X 時間線推薦的兩項改動:一是啟用新的 AI/SI 排序模型,稱其能更準確預測使用者可能停留的時長;二是上線專門訓練的檢索模型,把使用者會完整讀完的帖子推到更前面。他同時表示,使用者活躍秒數正指數增長,幾乎每天都在重新整理歷史新高。具體上線時間與適用範圍未作說明。

Google Developers blog● 精選AI 評分80

Gemini 4 Argon 通宵 11 小時最佳化 20 萬行 Python 庫,會話開銷降約 40%

Google 讓 Gemini 4 Argon 在 Antigravity 的 /goal 模式下無人值守跑了 11 小時,對約 20.5 萬行、近 800 個原始檔的 google/adk-python 倉庫做跨檔案效能最佳化,最終把長會話的記憶體 session 準備時間縮短約 40%,冷啟動包匯入加快 21%。該 PR 跨 32 個檔案提出 6 項最佳化,經人工評審後僅 2 項合入,4 項被拒。

OpenAI NewsAI 評分46

Sophos 借 OpenAI Daybreak 把威脅回應壓到 89 秒

Sophos 用 OpenAI Daybreak 建置的 AI agent,將安全運營案件的平均回應時間從約 38 分鐘降至 89 秒,調查時間減少 96%。該方案基於 Sophos Fusion 與 MDR,agent 彙總客戶上下文、檢測結果與威脅情報,按計劃—執行—複核迴圈產出調查摘要與回應建議,52% 的 MDR 案件已由 AI 端到端處理。客戶仍可用 Notify、Collaborate、Authorise 三種模式決定 AI 的處置權限,破壞性操作交由人工判斷。

llama.cpp releasesAI 評分41

llama.cpp b11583:無快取路徑避免記憶體重複分配

llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。

機器之心● 精選AI 評分78

小紅書開源 DoSA,1M 上下文首 token 延遲最多降 48%

小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA,在保持原始 Top-K 選擇結果完全等價的前提下加速索引器,約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界,提前排除約 97% 不可能入選的候選,只對剩餘候選做全部索引頭的精確打分。

llama.cpp releasesAI 評分41

llama.cpp b11690:ngram 快取改為按引用讀取,官網為 llama.app

llama.cpp 發布建置 b11690,common 模組中 ngram 快取的分片改為按引用讀取、不再複製,以減少複製。該版本給出的官網地址是 llama.app,預編譯產物覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework,Linux 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL,Android arm64 及 Snapdragon 的 CPU、Adreno GPU、Hexag…

Hacker News front page● 精選AI 評分76

AI 代理一夜檢索 435 萬頁檔案,挖出被遺忘的隕石記錄

一名軟體工程師用 Claude Code 搭建 AI 流水線,在一夜 12 小時內檢索 435 萬頁荷蘭東印度公司檔案與舊報紙,發現一份被遺忘的隕石記錄、三隻未記錄的犀牛和未定位的火山噴發。他把 570 萬段文字轉成語義向量檢索,再用每百萬詞僅幾美分的小型決策模型 Jev 初篩(讀 5.9 萬條大象記錄約 3 美元),由 Claude Haiku 精讀並核對原始掃描頁。靈感來自歷史學家 Benjamin Breen 用 Opus 5.5 找到的 1615 年渡渡鳥目擊記錄。

llama.cpp releases● 精選AI 評分85

llama.cpp v0.7.0 發布:MoE 專家快取最高帶來 2.2 倍解碼提速

llama.cpp 發布 v0.7.0,最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取(--moe-cache-mib),專家改由裝置端 LRU 快取執行,專家解除安裝時解碼最高提速約 2.2 倍,且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼,並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。

OpenAI NewsAI 評分42

Higgsfield 借 GPT-6 Astra 把 AI 影片拉長到 10 分鐘以上

Higgsfield AI 藉助 GPT-6 Astra,把 AI 生成影片的時長從原先約 1 分鐘提升到 10 分鐘以上,CEO Alex Mashrabov 稱這緩解了長影片中畫面一致性的難題。配合 GPT-Image-2.5,平台可穩定渲染影像上的文字與資訊圖,服務缺少製作預算的小商家。Codex 讓約 200 名創意人員把想法直接做成軟體原型,團隊還用 GPT-6 Astra 生成長度超 10 分鐘的教學影片。

機器之心● 精選AI 評分79

蘋果與 CMU 提出 SSR:Agent 推理改為做選擇題,每輪延遲降超 90%

蘋果與卡內基梅隆大學提出 SSR 框架,讓多模態搜尋 Agent 不再逐 token 生成自由形式推理,而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上,每輪推理延遲降低超過 90%,每題總推理延遲降低 28–54%,p95 推理延遲僅 0.07 秒;4B 模型平均成功率 61.37%,與同規模 SOTA 持平,2B 達 51.26%。推理選擇由模型自身打分完成,不需要額外分類頭,也可跳過 SFT warm start 直接接 RL 訓練。

Hacker News front pageAI 評分67

Anthropic 稱自複製 AI 蠕蟲或數月內出現

Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。

Hacker News front pageAI 評分65

strands-decider 架構實測:編碼器延遲減半但泛化更差

AWS 工程師 Marc Brooker 用實驗比較編碼器與解碼器架構在 strands-decider 上的表現,結論是這一規模下兩者都沒有明顯優勢。編碼器-only 的 e1b 延遲中位數約 35ms,低於基於 Qwen3.5 改造的 2B 解碼器 v19 的 65ms,精度大致相當,但 prompt 變長後擴充套件性更差;

Cloudflare blog (AI)● 精選AI 評分76

Cloudflare 開源決策模型 Clef,並推出 RL 微調平台

Cloudflare 發布兩個自研決策模型 Clef 與 Clef-flash,託管在 Workers AI,並以 Apache 2.0 許可在 Hugging Face 開源,同時推出新的強化學習微調平台。Clef 目前在 Jev Decision Index 上排名第一,帶視覺編碼器、64k 上下文,而 Jev 只做文字分類、上下文 32k。這類模型輸出帶機率的結構化分類,供 agent 決定路由、升級或轉人工。

機器之心AI 評分42

OpenAI 將 RSI 列為戰略目標,MemoraX 展示記憶驅動自進化

OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。

llama.cpp releasesAI 評分50

llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心

llama.cpp 發布 b11518,Metal 後端加入 128 與 96 兩檔 Flash Attention 核心,並接受所有已編譯的維度組合(#30209)。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;