AISpot

搜尋

依意思最接近的 8 筆

r/LocalLLaMA top of the dayAI 評分42

專用推理引擎興起,放棄通用性換極致效能

近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。

Hacker News front pageAI 評分67

Anthropic 稱自複製 AI 蠕蟲或數月內出現

Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。

機器之心● 精選AI 評分80

混元與復旦發布 ExplorationBench,評測 AI 自主探索能力

復旦大學、騰訊混元與清華大學聯合發布 ExplorationBench,用兩套規則被改寫的「異星世界」AlienCode 和 AlienLogic,評測 AI 能否通過自主實驗發現規則。10 個前沿系統讀完範例後,在 AlienCode 上最高僅 15.7%,四輪探索後最好軌跡達 89.0%;若只讓模型多想、不給環境反饋,最高只有 11.0%。GPT-5.6 Sol 自主探索拿到 88.1%,而事先直接告知全部規則反而只有 69.5%,說明探索過程同時提升了規則的使用能力。

Hacker News front pageAI 評分74

論文 HybridAgents:token 減少 35.5%–54.7%,推理快 2.6 倍

arXiv 新論文提出 Hybrid Reasoning Agents(HybridAgents),在隱空間推理與文字互動之間動態切換,token 減少 35.5%–54.7%、推理快 1.8–2.6 倍、成本降至 1/2.7–1/3.7,效能平均提升 10.4%。架構上由輕量 HybridLink 完成文字與隱空間模式的切換,連續工作記憶在多輪中保留無損混合上下文,既保留工具呼叫能力,也讓隱空間思考可直接檢查。配套 HybridSFT 與 HybridRL 後訓練演算法;

Google Developers blogAI 評分51

Apigee hybrid 1.17.0 原生支援 MCP,資料平面跑在自有叢集

Apigee hybrid 1.17.0 引入原生 Model Context Protocol(MCP)支援,MCP 資料平面可直接執行在使用者自己的 Kubernetes 叢集內,AI agent 的請求流量與工具執行全部留在自有基礎設施中,只有配置更新從控制平面拉取。開發者可把 OpenAPI 3.0.x 規範暴露為可被發現的 MCP 工具,複用既有安全策略與 API 產品,並藉助 W3C trace context 頭實現端到端請求追蹤。

X @ggerganovAI 評分62

llama.cpp 借 ggml RPC 後端實現異構裝置分散式推理

llama.cpp 現在可以通過 ggml RPC 後端,把推理任務分散到異構裝置上共同完成,即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明,這一能力目前仍是進階設定,但會隨時間逐步降低使用門檻,讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。

TechCrunch AIAI 評分65

蘋果以反向挖角收編 Huxe 團隊並獲技術授權

蘋果向歐盟委員會申報,已與個性化播客創業公司 Huxe 達成協議,向 Huxe AI 部分員工發出聘用邀約,並獲得其智慧財產權的非獨佔授權,即所謂反向挖角。Huxe 由曾參與 NotebookLM(現更名 Gemini Notebook)AI 播客功能的開發者創辦,5 月 21 日宣布關停、下架應用、停止服務並刪除使用者資料;6 月 9 日蘋果向歐盟通報該交易。申報未說明哪些人收到邀約、是否接受,也未披露蘋果的後續計劃。