AISpot

搜尋

依意思最接近的 30 筆

X @Alibaba_QwenAI 評分33

Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s

阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績:Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻,並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。

llama.cpp releases● 精選AI 評分78

llama.cpp 合併 GLM5-Next MTP 支援,可作 draft 模型

llama.cpp 合併 PR #29928,為 GLM5-Next 加入多 token 預測(MTP)的 NextN 計算圖,使其能作為投機解碼的 draft 模型使用。改動包括支援只含 NextN 層或只含主幹張量的拆分 GGUF 檔案載入,並把 MTP 圖按輸出行裁剪,無輸出行的 4-token catch-up 核心耗時從 6.9 ms 降到 2.9 ms,貪心輸出雜湊與 draft 接受率不變。

Simon WillisonAI 評分43

tiktoken 命令列工具 ttok 發布 0.4,新增 --list-models

基於 OpenAI 開源 tiktoken 庫的命令列 token 計數工具 ttok 發布 0.4 版,新增 --list-models 命令可列出可用模型,同時修復了一處 Click 警告並更新了 CI。該專案已約兩年沒有更新,這次屬於維護性版本。ttok 可直接通過 uvx 執行,例如把檔案內容用管道傳入 cat file.txt | uvx ttok 就能統計其中的 token 數。

機器之心● 精選AI 評分68

Jev 走紅,NeurIPS 2025 論文 ConfTuner 早已探索相似思路

TypeSafe AI 的 Jev 模型近期走紅,其介面可直接返回預設選項、分數或事件機率,供程式碼呼叫,但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score,僅用對錯標籤即可訓練置信度機率分佈,在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884,4 張 A40 上約 4 分鐘完成微調。

X @OpenAIAI 評分10

OpenAI 官方帳號發布懸念預告:你想建造哪個未來

OpenAI 官方帳號發出一條只有一句話的預告:「There are many futures. Which do you want to build?」,未附連結、產品名、日期或任何說明。該帖以設問形式提出「你想建造哪個未來」,沒有透露模型、功能、價格或發布計劃等具體資訊,目前僅能確認這是一條官方發布的懸念式發言。

機器之心● 精選AI 評分81

斯坦福與 Together AI 提出 NCM,文字生成最高提速 31 倍

斯坦福大學與 Together AI 提出 Next-Concept Modeling(NCM),借鑑 NeurIPS 2024 最佳論文 VAR 的下一尺度預測,讓模型先並行寫出概念大綱、再逐層填充細節,形成不同於自迴歸與擴散的第三種文字生成範式。單塊 H100 上,XSum 摘要在 ROUGE-L 相當的情況下速度約為強擴散基線的 31 倍,LM1B 無條件生成約 21 倍,OpenWebText 約 10 倍,訓練 token 用量分別少 4.9 倍和 4 倍。

Latent Space● 精選AI 評分87

DeepSeek 開源推理棧 DeepInfer,單叢集日處理 155 萬億 token

DeepSeek 開源了生產推理棧 DeepInfer,它基於 vLLM 定製、採用 Apache 2.0 許可,支援最長 72 小時 prompt 快取、投機解碼與結構化輸出,相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s,按非高峰電價折算單卡每小時收入 38 美元,毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源;

TechCrunch AIAI 評分68

非文字模型 Jev 開發商融資 8.7 億美元,估值 75 億

TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資,由 Andreessen Horowitz 領投,紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布,基於 transformer 架構但不是大語言模型,不輸出文字而是生成機率,公司稱之為「校準決策」,定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM,並稱已有三分之一財富 500 強企業在使用;

機器之心● 精選AI 評分78

7B 審計模型 AgentForesight 上線,多智慧體任務失敗前預警

羅格斯大學、得州大學奧斯汀分校與普渡大學團隊提出線上審計模型 AgentForesight,用 7B 模型在任務執行中逐步讀取軌跡字首,在關鍵錯誤擴散成失敗前報警。在 AFTraj-2K 測試集上,其關鍵錯誤步驟識別 Exact-F1 達 66.44,比最強通用基線 DeepSeek-V4-Pro 高 19.88 分,成功軌跡誤報率僅 2.37%。

Hacker News front pageAI 評分45

凱文·凱利 2016 年 AI 預測十年後回顧,Google 主業將變 AI

文章在凱文·凱利 2016 年出版的《必然》問世十年後,逐條回看他當時對 AI 的判斷。他預言到 2026 年 Google 的主業將不再是搜尋而是 AI,AI 會由兩三家通用雲端商業智慧形成寡頭格局,形態更像可按需取用的 AWS 式廉價基礎設施,且絕大多數是狹窄的專用軟體大腦;人們還能用對話語氣向雲端提出任何問題。文中另提到 Google 研究者 2017 年發表《Attention Is All You Need》,提出 transformer 架構。

The Verge AIAI 評分70

OpenAI、Google、微軟、Anthropic 將採用統一免抓取標準

OpenAI、Google、Microsoft 與 Anthropic 表示將採用一項新的統一標準,讓出版商一次性宣告網站內容不希望被 AI 抓取。這一共享的 policy token 訊號由 Anthropic 標準技術負責人 Kevin Kelley 在 IETF 提出,將寫入網站既有的 robots.txt 檔案,該檔案長期用於告知爬蟲能否抓取站點,用途涵蓋搜尋索引、歸檔等。此前出版商需要針對各家 AI 公司分別設定訓練偏好。

機器之心AI 評分28

超聚變 TokenBox 亮相 OCP,單機支援 1.6 萬億引數模型

超聚變在 2026 OCP 全球峰會(10 月 12 日,美國聖何塞)展出 TokenBox 本地 AI 超級工作站,單機可支援最高 1.6 萬億引數模型,包含 DeepSeek V4 Pro,資料完全本地留存,企業無需專用機房即可本地獲得大模型能力。同場還展出智算、超節點元件與 800V HVDC 電源系統,並發表《Next-Generation Power & Cooling Solutions》主題演講,聚焦供電、散熱與互連。

Hugging Face blogAI 評分64

NVIDIA 開源 Kumo Forecast 時序預測模型

NVIDIA 發布 Kumo Forecast(原 NV-Tesseract Forecasting),一個多變數時間序列預測模型,以 Apache 2.0 許可開源,模型程式碼 NVIDIA/Kumo-TS 與權重 nvidia/Kumo-Forecast 均已公開。模型以 MOMENT-1-large 為凍結主幹,約 3.4 億引數編碼器外加可訓練預測頭,支援 256、512、1024、2048 的輸入序列長度。

量子位AI 評分46

AI 程式設計模型集體滿口黑話:思維鏈壓縮省 70% Token

量子位發文吐槽,Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析,除 Coding 過擬合外,更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」,OpenAI 最早這麼做,同樣一句話的 Token 消耗比白話文少 70%;Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯,而 Gemini 因輸出風格正常、排版層級清晰,被社群視為少數還能正常溝通的 AI。

NVIDIA blog● 精選AI 評分85

OpenAI 上線 GPT-6 Astra Ultrafast,基於 NVIDIA Blackwell

GPT-6 Astra Ultrafast 已在 OpenAI API 上線,並向符合條件的 ChatGPT Work 與 Codex 使用者開放,執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍,可縮短 coding agent 的編輯—測試—除錯迴圈,並減少工具呼叫之間的等待。開發者可通過 API 使用,訪問方式、價格與實現細節見 Ultrafast 指南。

Hacker News front pageAI 評分74

論文 HybridAgents:token 減少 35.5%–54.7%,推理快 2.6 倍

arXiv 新論文提出 Hybrid Reasoning Agents(HybridAgents),在隱空間推理與文字互動之間動態切換,token 減少 35.5%–54.7%、推理快 1.8–2.6 倍、成本降至 1/2.7–1/3.7,效能平均提升 10.4%。架構上由輕量 HybridLink 完成文字與隱空間模式的切換,連續工作記憶在多輪中保留無損混合上下文,既保留工具呼叫能力,也讓隱空間思考可直接檢查。配套 HybridSFT 與 HybridRL 後訓練演算法;

Hacker News front pageAI 評分66

ThinkingCap 版 Gemma-4-26B-A4B 思考量平均減少 38.9%

BottleCap AI 發布 ThinkingCap 系列第五個模型,把 Google gemma-4-26B-A4B-it 的平均思考 token 減少 38.9%,十二項基準準確率平均只降 0.15pp。單項降幅最高為 LongBench v2 的 69.1%,AA-LCR 降 59.3%;迴圈輸出率從 3.64% 降到 0.76%;IFBench 反而提升 1.83pp,AA-LCR 準確率下降 4.00pp 是主要代價。取樣設定和 vLLM 服務棧不變,可直接替換;

llama.cpp releasesAI 評分40

llama.cpp b11782 修復 n>1 時 completion_tokens 少計

llama.cpp 發布建置 b11782,服務端修復了 n 大於 1(一次生成多個候選)時 usage.completion_tokens 統計偏少的問題。該版本同時更新了各平台預編譯包,覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Linux(含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL)以及 Windows、Android、openEuler 等平台。

X @OpenAIDevsAI 評分46

Codex 向 Pro 使用者開放 composer 預測功能

OpenAI 為 Codex 的 Pro 使用者推出 composer 預測功能 beta 版:Codex 會依據當前對話內容以及使用者平時的說話方式,建議下一條要傳送的訊息。該功能目前僅面向 Pro 使用者開放,官方稱這是內部測試中最受喜愛的新功能之一。原文未提及價格、額度變化或正式版上線時間。

OpenAI News● 精選AI 評分64

OpenAI:Codex 與 ChatGPT Work 佔歐盟企業輸出 token 過半

OpenAI 經濟研究的報告顯示,在歐盟 ChatGPT Enterprise 客戶中,Codex 與 ChatGPT Work 已佔輸出 token 的一半以上,AI 使用正從提問轉向由 agent 執行任務。2026 年 5 月以來,歐盟中小企業中這兩款產品的周活躍使用者增長超過 8 倍,覆蓋每個成員國;但國別差異明顯,其輸出 token 佔比從斯洛維尼亞的 22% 到立陶宛的 85%。

TechCrunch AIAI 評分70

Anthropic 推出企業報表工具,量化 AI 花費的回報

Anthropic 發布一套面向企業客戶的報表工具:管理者可以按時間段檢視團隊用 AI 做了什麼、產出多少、消耗多少 token、流程卡在哪裡,並獲得改進建議;這些資料預設不用於模型訓練。同時上線團隊共享預算池,用於管理 token 支出。Anthropic 披露 Claude Code 淨收入留存率達 900%;

Hacker News front pageAI 評分36

HN 討論:模型這麼強,OpenAI 為何不自己開公司做應用

Hacker News 上一條 Ask HN 帖子提問:如果前沿模型已經這麼強,OpenAI、Anthropic 為什麼不自己拿模型去開一批公司、做自己的產品,而是把賣 token 當成主要收入來源。發帖者認為模型正在商品化、價格持續走低,這或許說明應用側比工具側更賺錢。該帖獲得 130 分、109 條評論。

r/LocalLLaMA top of the dayAI 評分68

Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s

有人在 Windows 上用 llama.cpp 的專家流式方案,在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B(UD-IQ3_XXS),基準約 11.5 tok/s,日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token,產出一個可執行的單檔案貪吃蛇遊戲。

TechCrunch AIAI 評分51

Industrial Next 與寶馬合作,AI 機器人產線換型縮短到數分鐘

舊金山初創公司 Industrial Next 在 TechCrunch Disrupt 2026 上宣布與 BMW 集團技術辦公室合作,評估其 AI 靈巧操作技術用於製造。該公司由兩位前特斯拉工程師於 2021 年創立,做的是基於自研基礎模型的機器人工作站,把視覺、任務上下文與運動控制打通,用高保真模擬訓練,產線換型從數週縮短到數分鐘,無需傳統程式設計。其工作站已在某款熱門手機的生產中使用,負責柔性排線穿線、聯結器扣合等此前難以自動化的工序;

Google Developers blogAI 評分62

A2UI 推出 Express 格式:token 用量最多減至 1/3

A2UI 支援可切換推理格式,新增的 A2UI Express 會把緊湊的 Python 風格語法經 Agent SDK 編譯成標準 A2UI JSON,token 用量最多減少 3 倍,延遲同步下降。開發者還可以結合 TypeSafe 的 Jev 系統決策模型進行受控生成,在 300ms 內渲染出已知結構的介面,同時讓較小模型流式輸出文字。前端渲染器與元件目錄無需改動,Python、TypeScript、Dart 均可使用。

TechCrunch AIAI 評分45

語音 AI 高管:全雙工已實現,仍未迎來 ChatGPT 時刻

企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示,全雙工模型雖已實現,語音 AI 仍未迎來自己的「ChatGPT 時刻」,下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出,說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵,Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞,轉寫不準會讓後續動作全部出錯、使用者失去信任;