線上強化學習框架讓 UI 導航小模型在真實 iOS App 上訓練
研究提出一種線上強化學習框架，可直接在真實執行的 iOS App 上訓練 UI 導航智慧體，並把智慧體拆分為規劃與 grounding 兩個專門模組。作者指出，前沿視覺語言模型雖然在 UI 導航上表現很強，但推理成本過高、難以日常使用；而用 SFT 或離線強化學習訓練的小模型容易記住靜態軌跡，執行脆弱、出錯後無法恢復。該框架改為線上訓練，目標是在與真實應用的互動中學習並糾錯。
針對前沿 VLM 推理成本高、離線訓練的小模型容易死記軌跡這兩點，提出在真實 iOS App 上線上訓練的框架，對做移動端 UI agent 和端側小模型的研究與工程人員有參考價值。
原標題：Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live iOS Apps
閱讀原文
| 評分 | 66 / 62（平均 64，門檻 60） |
|---|---|
| 狀態 | 精選 |
相關報導
蘋果與 CMU 提出 SSR：Agent 推理改為做選擇題，每輪延遲降超 90%
蘋果與卡內基梅隆大學提出 SSR 框架，讓多模態搜尋 Agent 不再逐 token 生成自由形式推理，而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上，每輪推理延遲降低超過 90%，每題總推理延遲降低 28–54%，p95 推理延遲僅 0.07 秒；4B 模型平均成功率 61.37%，與同規模 SOTA 持平，2B 達 51.26%。推理選擇由模型自身打分完成，不需要額外分類頭，也可跳過 SFT warm start 直接接 RL 訓練。
復旦與南洋理工提出 SimpleVLN，不改模型主幹重新整理導航 SOTA
復旦大學、南洋理工大學等提出 SimpleVLN，在不改動多模態大模型主幹、不額外增加專用導航模組的前提下，重新整理視覺語言導航的 SOTA。該方法把每次模型呼叫都當作一次獨立決策，只輸入指令、當前畫面和篩選後的歷史觀測，其中早期幀均勻取樣，並保留最新一幀；每次推理輸出一段連續動作，也就是動作塊，使成功率從 45.6% 提升到 53.6%。訓練分三階段：SFT、DAgger 和 DAPO 強化學習。DAgger 使 R2R-CE 的成功率從 57.9% 提升到 65.4%；
AnyLanguageModel 1.0 發布，統一本地與託管模型推理
AnyLanguageModel 1.0 發布：這個 Apple Foundation Models 框架的替代方案只需換成 import AnyLanguageModel，同一份會話程式碼即可呼叫系統模型、llama.cpp、MLX、Core ML 本地模型，以及 OpenAI、Anthropic、Gemini、Ollama、Private Cloud Compute 等託管服務。
7B 審計模型 AgentForesight 上線，多智慧體任務失敗前預警
羅格斯大學、得州大學奧斯汀分校與普渡大學團隊提出線上審計模型 AgentForesight，用 7B 模型在任務執行中逐步讀取軌跡字首，在關鍵錯誤擴散成失敗前報警。在 AFTraj-2K 測試集上，其關鍵錯誤步驟識別 Exact-F1 達 66.44，比最強通用基線 DeepSeek-V4-Pro 高 19.88 分，成功軌跡誤報率僅 2.37%。
近 200 篇工作綜述：可供性學習被統一為感知—推理—行動框架
南洋理工大學、清華大學、上海交大等十餘家機構聯合發布綜述，以「感知—推理—行動」為主線梳理近 200 篇具身智慧可供性學習工作。綜述將研究分為可供性感知（2D、3D、互動驅動、可泛化）、可供性推理（關係式、語言中心、智慧體式）與可供性引導行動（分層執行、策略學習融合）三個層次，並彙總五類資料集與 IoU、mAP、aIoU 等評測指標。作者指出視覺預測準確並不等於機器人能成功執行，未來評測需納入機器人本體約束與物理可行性。