OpenAI 推文:用視覺化影像加深對主題的理解
OpenAI 官方帳號發布推文,稱用視覺化內容把概念呈現出來,可以加深使用者對某個主題的理解。推文只有這一句話,未說明對應哪款產品或功能,也沒有給出上線時間和具體用法。
依意思最接近的 30 筆
OpenAI 官方帳號發布推文,稱用視覺化內容把概念呈現出來,可以加深使用者對某個主題的理解。推文只有這一句話,未說明對應哪款產品或功能,也沒有給出上線時間和具體用法。
何愷明團隊提出視覺原生 Harness 框架 VISTA,讓現有多模態模型無需重新訓練,就能儲存原始畫面並在推理時按需回看、放大細節。VISTA 把環境返回的每幀畫面按回合號、幀號索引存到上下文之外,預設只向模型展示最後一幀,需要時用 inspect 工具調取歷史畫面。搭配該框架,Claude Opus 5.0 通關 ARC-AGI-3 全部 25 個公開遊戲,動作效率得分滿分 100,所用動作數比人類首次遊玩基線少 57.4%;
阿里發布 Qwen-Image-2.1-Turbo,這是基於 Qwen-Image-2.1 的加速 checkpoint,只需 8 步去噪即可生成和編輯影像,權重已在 ModelScope 與 Hugging Face 開放。它沿用同一 7B 視覺生成架構,官方稱步數減少不犧牲品質,仍可從文字生成 2K 影像,並支援用自然語言繼續編輯,例如新增配飾或更換場景。Diffusers 中載入 QwenImage21Pipeline 即可使用推薦的 8 步取樣;
Apertus 1.5 發布,在 8B 與 70B 兩個尺寸上新增影像與音訊理解、可選思考模式,上下文視窗擴至 262,144 token,為 1.0 的 4 倍。權重已於 2026 年 7 月 24 日以 Apache 2.0 許可上傳 Hugging Face,技術報告同步公開。模型由第一代繼續預訓練而來,8B 增加 4 萬億 token、70B 增加 2 萬億,總量分別達 19T 與 17T。
Google DeepMind 發布一期播客,討論 AI 生成內容日益逼真後如何驗證內容來自人類、機器還是自然。節目介紹內容溯源的作用,並講解不可感知水印如何保護數字媒體與生物設計,時間軸涵蓋水印概念、SynthID、影像與影片、SynthID Bio 及未來韌性等章節。
Black Forest Labs 發布 5.6B 引數的開源權重模型 FLUX 3 Image Klein,支援文生圖、影像編輯和最多 10 張參考圖的多參考生成,並保留原生 4K 與邊界框控制。INT8 版本可在 8GB 視訊記憶體的 NVIDIA RTX 顯示卡上通過 ComfyUI 或 Diffusers 執行,蒸餾模型在 RTX 5090 上約 4 秒生成一張 1MP 影像,RTX 4070 上不到 9 秒。
何愷明團隊發布 NAT-ARC,用 ImageNet 上 MAE 預訓練的視覺編碼器解 ARC 抽象推理題,最佳單模型(0.6B 引數)在 ARC-1 上 pass@2 達 63.4%,整合後 70.2%。該方法不依賴 LLM,預訓練階段不使用 ARC 格子,僅複用 MAE 公開 checkpoint,測試時對每題做 LoRA 微調。論文稱這是純視覺方案首次逼近專用 LLM 系統水平,並顯示預訓練打通了視覺路線的 scaling 瓶頸。
Black Forest Labs 發布開源影像生成模型 FLUX.3 Image Klein,新增可用 bounding box 指定畫面元素位置的佈局控制,Diffusers 已首日支援。單一模型同時覆蓋文生圖、多參考圖生圖:提示詞中用 <ref_image_0> 引用參考圖,編輯時用 src_bbox 與 tgt_bbox 指定區域移動,座標按 0–1000 歸一化、y 在前,任意尺寸通用。
llama.cpp 的多模態模組 mtmd 更新:LightOnOCR 不再要求影像最長邊固定為 1540,預設使用原生解析度,對應 PR #30600,提交標註 Assisted-by: Codex。
開發者 Brandon Thomas 用 Anthropic 的 Claude Opus 5.5 生成了七款開源應用,復刻 Adobe 的 Photoshop、Illustrator、Premiere、Lightroom、After Effects、InDesign 與 Acrobat Pro 的介面和工具。Artcraft 去年以「面向藝術家的可控 AI」起步,用於 AI 生成影像與影片的精確後期編輯,本週末宣布轉向這套套件並在 Reddit 公布。
安全研究者指出,Google 與 OpenAI 最新的影像生成模型能力提升的同時,攔截色情輸出的表現反而可能變差。Google 今年 7 月對美國、澳大利亞和英國網民的聯合研究發現,未經同意的色情內容多經私信、文字或私人云盤傳播,不易被檢測或舉報。Google 研究者據此認為,最關鍵的干預點仍在源頭,即用於生成虛假性影像的 AI 工具。
OpenAI 將於本月晚些時候在美國開始測試新的視覺廣告,在 ChatGPT 生成圖片時展示贊助商品的圖片。廣告與生成的圖片分開顯示,OpenAI 稱不會影響 ChatGPT 給出的回答。OpenAI 今年 2 月首次在 ChatGPT 投放廣告,此前廣告只顯示公司名、logo 和產品連結,位於對話下方的 sponsored 區域。訂閱 Plus、Pro 等方案的使用者不會看到廣告。
清華大學等機構提出「樣本分佈訓練」,用一批生成樣本與參考樣本的整體分佈差異提供監督,取代逐樣本的參考答案,把生成壓縮到一步或少數幾步。MGFlow 在 ImageNet 256×256 上把 pMF-H、JiT-H 的單步 FDr⁶ 降至 1.45、1.64,較 FD-Loss 降低約 23% 和 38%;後訓練 FLUX.2 [klein] 4B 一步文生圖,GenEval 從四步的 0.794 升至 0.900。
OpenAI 開發者帳號(@OpenAIDevs)發布了一條演示:機器人可以把照片轉成手繪風格的肖像。帖文正文只有這一句話,沒有給出機器人或模型的名稱、演示影片、技術細節,也沒有說明上線時間與可用範圍。
新評測 InnovationEval 顯示,前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新:在端到端任務中,它們耗費數千美元 GPU 算力,仍未達到人類論文(on-policy self-distillation,SDPO)的水平。測試要求 AI 自主提出一種新的後訓練方法,在短答題與程式碼任務上後訓練 Qwen3-8B,並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol;
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
Google DeepMind 宣布 SynthID Detector 現已向所有人開放,可用來判斷網上內容是否由 AI 生成。該工具除 Google AI 外,還支援檢測 OpenAI、NVIDIA、Kakao 等行業夥伴工具生成的內容,Apple 即將加入。使用者可通過 synthid.com 試用。
OpenAI 宣布在 ChatGPT 推出新的視覺廣告格式,並擴充套件廣告測量工具與合作伙伴。該格式初期在影像生成過程中測試,廣告會明確標註且與生成的圖片分開,不影響 ChatGPT 給出的回答,本月晚些時候在美國面向首批廣告主開始。ChatGPT 每週觸達 12 億人。OpenAI 同時接入 Hightouch、Tealium、LiveRamp 的轉化資料整合,與 AppsFlyer、Adjust 等歸因夥伴合作,並與 DoubleVerify、IAS 試點品牌適配性評估。
前華為小藝多模態大模型研發負責人唐都鈺創辦觀行數智,主攻讓機器自主判斷何時介入的「主動式物理 AI」。團隊採用雙模型協同架構 ProAgent:輕量模型 StreamingJev 持續讀取環境事件流、判斷是否需要介入,Response Model 再決定回應方式與呼叫裝置,並自建評測體系 ProactiveXBench。
Artificial Analysis 最新文生影片榜單中,影視公司 Utopai Studios 的模型 Utopai X 以 1150 分位列第二,與第一名阿里 Wan 3.0 僅差 7 分,據福布斯估算其估值約 10 億美元。該榜單由評審在不知道模型名字的情況下盲投產生;Utopai X 以 MiniMax 開源的影片模型 H3 為底子做後訓練,10 項能力中有 7 項比基座更接近頂尖水平,音訊同步、運鏡控制與物理提升最明顯。
Elorian 發布首個模型 Glimpse,主打「視覺草稿空間」:模型在推理過程中可反覆回到原圖,裁剪區域性、抽取影片幀,或執行程式碼去測量和比較。該模型以研究預覽形式上線,提供 API,聊天介面需排隊;輸入每百萬 token 0.60 美元、輸出 3 美元。Elorian 稱其用幾百塊 GPU 訓練、規模遠小於對標的前沿模型,卻在科學圖表推理和短影片描述上超過 GPT-6 Astra。首批目標是機器人、科研、媒體等握有大量影片的公司。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
OpenAI 發布新的 Decisions API,支援 yes/no、選項和打分三類問題,新模型 gpt-6-luna 相比 Jev 額外支援影像輸入。兩者都只對輸入計費:OpenAI 為 10 美分/百萬輸入 token,Jev 為 4.2 美分/百萬。
OpenAI 正在為 ChatGPT 增加視覺展示廣告,廣告會出現在使用者要求生成的影像旁邊,本月晚些時候先在美國上線,僅面向初始測試廣告主,且廣告有明確標註、不影響 ChatGPT 給出的回答。同時 OpenAI 擴充套件廣告衡量工具與合作生態,納入 AppsFlyer、Adjust、Branch 等點選歸因夥伴,並與 DoubleVerify、Integral Ad Science 開展品牌適配性評估試點。
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法:讓同一個多模態模型分別以學生和教師身份出現,學生只看原始問題,教師額外看到自我批評作為特權資訊,訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異,無需依賴更大的外部教師模型。基於開源 Qwen-image-2512,GenEval 從 0.747 升至 0.808,GenEval2 Soft-TIFA 從 32.97 升至 35.53。
Google DeepMind 發布 SynthID Bio,一套面向 AI 生成生物設計的水印方法。官方稱這是全球首次能在不影響生物功能的前提下,把不可感知的簽名直接嵌入蛋白質序列。該技術屬於 SynthID 水印體系的新分支,具體覆蓋範圍、檢測方式與可用時間尚未公布。
OpenAI 官方帳號宣布,GPT-6 新增 Intelligent UI,可在回覆中組合文字、視覺內容與互動元素,並按使用者提問自行決定三者的組合方式。回覆因此能包含幫助解釋概念的圖形和圖表,也能嵌入可點選按鈕、表單等互動體驗,使用者可直接在對話中使用它們。OpenAI 未在該推文中說明該功能的上線時間、適用套餐、地區限制或是否需要額外設定。
AI 現在能在數天內自動反編譯遊戲,把編譯後的成品還原成原始碼再重新編譯到其他平台,產出支援高幀率、動態解析度與模組的原生版本。作者舉例 IsaacRecomp 將 2011 年 Flash 版《以撒的結合》自動移植為 C++,從鎖定 30FPS、低解析度變為原生 1440p、插值到 165FPS,同類專案已有數百個,涵蓋《科林麥克雷拉力賽 2.0》《最終幻想戰略版 Advance》《銀河戰士 Prime》,開發中的 AnyPS5 號稱可把任意 PS5 遊戲移植到 PC。
OpenAI 可解釋團隊建立人 Nick Cammarata 髮長文稱,神經網路並非多義糾纏的黑箱,疊加(superposition)假說被看錯了,可解釋性可能很快被解決。他重查 InceptionV1 中同時回應貓臉與汽車前臉的神經元,發現二者共享 V 形特徵;對 Qwen3-32B 的初步審查顯示約 90% 神經元正負兩極各有一項主要工作,約 7% 有兩項,2%—4% 未理解,並在 Kimi K3 上做出已知首個萬億引數模型歸因圖。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;