AISpot

搜尋

找到 5 筆

Hacker News front pageAI 評分67

寶可夢雙打環境測試多智慧體協作:自由對話勝率 64%

研究者把 Pokémon Showdown 雙打格式封裝成多智慧體環境,讓兩個 Qwen3.8-27B 智慧體組隊:能自由對話時對最大傷害指令碼機器人勝率 64%,完全不能交流僅 42%。由單個模型同時操控兩隻寶可夢勝率 54%,每回合各發一條訊息為 52%。自由對話每場消耗約 97.8 萬 prompt token,是無對話 25.9 萬的 3.8 倍;同一隊伍對 2B、9B 模型隊伍勝率分別為 96% 和 74%。

Google Developers blog● 精選AI 評分66

開源 agent-eval 工具包發布,把 AI agent 評估從憑感覺變成可重複流程

一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。

Hugging Face blog● 精選AI 評分67

ProvenanceGuard:為 MCP Agent 做來源感知的事實核查

MultiverseComputing 團隊發布論文 ProvenanceGuard,針對 MCP Agent 的跨來源混淆問題:答案中的事實雖在證據池中存在,卻被歸因到錯誤的工具來源。該方法在生成後保留來源 ID,依次做宣告拆分、來源路由、支援度打分、歸因比對與修復,並用 MiniLM、DeBERTa NLI 等本地模型離線執行。

Simon WillisonAI 評分41

程式設計師寫程式設計訃告:coding agent 奪走解題樂趣

有程式設計師為程式設計寫了一份「訃告」,認為 coding agent 讓這份工作裡最有意思的部分消失了。Jeremy Scheff 的這段話說,程式設計曾是拿錢解邏輯謎題的好工作:謎題越難報酬越高,因為普通人做不了,開發者自己定策略、定時間線、定義什麼可能什麼不可能。如今 LLM 直接把這些題解掉,對只想把系統跑起來的人是持續饋贈,對以解題本身為樂趣的人則是真實的損失。

Hacker News front pageAI 評分45

計算機教授:AI 時代仍值得學程式設計,但初級程式設計師必須親手寫程式碼

蒙大拿州立大學計算機教授 Carson Gross 在《Yes, and...》中回答“AI 時代還該不該學程式設計”:應該,但初級程式設計師必須親手寫程式碼。他認為 AI 能生成作業程式碼,但若因此不寫程式碼,就難以讀懂程式碼,可能造出自己無法理解和控制的系統;AI 更適合當助教,他給學生提供 AGENTS.md 來把編碼代理配置成助教。他同時判斷,未來寫程式碼本身的相對價值會下降,清晰溝通與理解業務會更重要。