專用推理引擎興起,放棄通用性換極致效能
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
依意思最接近的 8 筆
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
復旦大學、騰訊混元與清華大學聯合發布 ExplorationBench,用兩套規則被改寫的「異星世界」AlienCode 和 AlienLogic,評測 AI 能否通過自主實驗發現規則。10 個前沿系統讀完範例後,在 AlienCode 上最高僅 15.7%,四輪探索後最好軌跡達 89.0%;若只讓模型多想、不給環境反饋,最高只有 11.0%。GPT-5.6 Sol 自主探索拿到 88.1%,而事先直接告知全部規則反而只有 69.5%,說明探索過程同時提升了規則的使用能力。
Mistral 宣布與輝達建立新合作,將 AI 引入工業工程,並加快模擬速度。合作還包含為物理 AI 發布開放基準與配套資料集,以及為 CAE、EDA 中的 agentic AI 提供評測。更多資訊見 Mistral 官方公告。
arXiv 新論文提出 Hybrid Reasoning Agents(HybridAgents),在隱空間推理與文字互動之間動態切換,token 減少 35.5%–54.7%、推理快 1.8–2.6 倍、成本降至 1/2.7–1/3.7,效能平均提升 10.4%。架構上由輕量 HybridLink 完成文字與隱空間模式的切換,連續工作記憶在多輪中保留無損混合上下文,既保留工具呼叫能力,也讓隱空間思考可直接檢查。配套 HybridSFT 與 HybridRL 後訓練演算法;
Apigee hybrid 1.17.0 引入原生 Model Context Protocol(MCP)支援,MCP 資料平面可直接執行在使用者自己的 Kubernetes 叢集內,AI agent 的請求流量與工具執行全部留在自有基礎設施中,只有配置更新從控制平面拉取。開發者可把 OpenAPI 3.0.x 規範暴露為可被發現的 MCP 工具,複用既有安全策略與 API 產品,並藉助 W3C trace context 頭實現端到端請求追蹤。
llama.cpp 現在可以通過 ggml RPC 後端,把推理任務分散到異構裝置上共同完成,即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明,這一能力目前仍是進階設定,但會隨時間逐步降低使用門檻,讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。
蘋果向歐盟委員會申報,已與個性化播客創業公司 Huxe 達成協議,向 Huxe AI 部分員工發出聘用邀約,並獲得其智慧財產權的非獨佔授權,即所謂反向挖角。Huxe 由曾參與 NotebookLM(現更名 Gemini Notebook)AI 播客功能的開發者創辦,5 月 21 日宣布關停、下架應用、停止服務並刪除使用者資料;6 月 9 日蘋果向歐盟通報該交易。申報未說明哪些人收到邀約、是否接受,也未披露蘋果的後續計劃。