AISpot

搜尋

依意思最接近的 20 筆

llama.cpp releasesAI 評分47

llama.cpp 為 Unigram 分詞器加入可選 NFC 歸一化

llama.cpp 合併 PR #30390,為 Unigram 分詞器加入可選開啟的 NFC 歸一化,用於處理 Unicode 組合字元不一致導致的 tokenize 差異,需顯式啟用而非預設生效。該建置版本號為 b11612,覆蓋 macOS、Linux、Windows、Android 及 openEuler 等平台,包含 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等後端;

Simon WillisonAI 評分43

tiktoken 命令列工具 ttok 發布 0.4,新增 --list-models

基於 OpenAI 開源 tiktoken 庫的命令列 token 計數工具 ttok 發布 0.4 版,新增 --list-models 命令可列出可用模型,同時修復了一處 Click 警告並更新了 CI。該專案已約兩年沒有更新,這次屬於維護性版本。ttok 可直接通過 uvx 執行,例如把檔案內容用管道傳入 cat file.txt | uvx ttok 就能統計其中的 token 數。

量子位AI 評分46

AI 程式設計模型集體滿口黑話:思維鏈壓縮省 70% Token

量子位發文吐槽,Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析,除 Coding 過擬合外,更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」,OpenAI 最早這麼做,同樣一句話的 Token 消耗比白話文少 70%;Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯,而 Gemini 因輸出風格正常、排版層級清晰,被社群視為少數還能正常溝通的 AI。

Hacker News front pageAI 評分46

Anthropic 文章設想 AI 每秒輸出百萬 token

Anthropic 發布一篇思想實驗文章,探討「每秒 100 萬 token」的四種含義:上下文容量、輸入處理速度、聚合吞吐量和單智慧體輸出速度,並強調這不是對任何現有模型的實測。文中以 Claude Opus 5.5 為例,其上下文視窗為 100 萬 token,但單次請求輸出上限遠小於此。文章用互動計算器演示:若單智慧體達到每秒 100 萬 token,1000 個故事結局約 1 秒寫完,但加入 60 秒固定檢查後,端到端加速從 10000 倍降至 132.57 倍。

NVIDIA blog● 精選AI 評分85

OpenAI 上線 GPT-6 Astra Ultrafast,基於 NVIDIA Blackwell

GPT-6 Astra Ultrafast 已在 OpenAI API 上線,並向符合條件的 ChatGPT Work 與 Codex 使用者開放,執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍,可縮短 coding agent 的編輯—測試—除錯迴圈,並減少工具呼叫之間的等待。開發者可通過 API 使用,訪問方式、價格與實現細節見 Ultrafast 指南。

X @Alibaba_QwenAI 評分33

Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s

阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績:Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻,並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。

llama.cpp releases● 精選AI 評分62

llama.cpp b11455 新增 PLaMo-3 分詞器預切分

llama.cpp 建置 b11455 新增 vocab 型別 plamo3,實現 PLaMo-3 分詞器的預切分。它在 Unigram DP 前插入硬邊界,針對形如 <|plamo:...|> 的文字,以及連續至少 4 個相同字元或 2 個空格的片段;否則 llama.cpp 對程式碼縮排和重複標點的分詞會與參考實現不同。

X @claudeaiAI 評分43

Claude 稱 Haiku 5.5 在 10 萬 token 以下任務價效比突出

Claude 官方帳號稱,Haiku 5.5 在 10 萬 token 以下的任務上價效比尤其突出。官方給出的依據是,這類任務約佔此前 Haiku 模型所收到請求的 90%,意味著絕大多數實際呼叫都落在這一區間內。該帖由 @claudeai 發布,未披露 Haiku 5.5 的具體價格、上下文長度或基準測試成績,也未與其他模型做對比。

Hacker News front pageAI 評分75

研究:LLM 用 1866 年電報體壓縮記錄可省近半 token

一份 50 篇材料、約 1300 題的新基準(Telegraph Test,程式碼與資料已開源)顯示,只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體(cablese)撰寫壓縮記錄,輸出 token 可省 40%–49%,而下游模型讀取這些記錄的準確率不低於明文(恢復比 0.99–1.10)。GLM-5.3-Flash 自身省 48.4%,qwen3.8-27b 省 48.9%,gemma-4-31b 省 40.4%;

Hacker News front pageAI 評分62

Treg 上線:一個 token 呼叫數千個 agent 工具

Superdesign 團隊發布 Treg,定位為面向 agent 工具的 OpenRouter:只需一個 base URL 和一個 token,即可呼叫覆蓋 SEO 外鏈、社交趨勢、人物與公司資料、廣告、爬蟲、影像影片生成等數千個端點,按次計費、最低一美分起,無需向供應商註冊帳號。目錄內工具由 Treg 自帶 key 或公開路由代付,團隊自有 key 的呼叫不計費,新驗證團隊可獲 1 美元免費額度。

Hugging Face blog● 精選AI 評分75

NVIDIA 聯手 AI4Bharat 開源 2.8 萬億 token 印度語語料

NVIDIA 與 IIT Madras 的 AI4Bharat 實驗室聯合發布 Nemotron-pretraining-Indic-v1,約 2.8 萬億 token,覆蓋印度憲法列出的 22 種語言,即將開源,同時開放用於生成該語料、GPU 加速的資料生產流程。語料含 2,601.0 億原生文字 token 與 224.6 億羅馬化 token(按 Gemma-4 分詞器計),共 34 種語言—文字組合,其中 12 種語言另有羅馬化文字。

Hacker News front page● 精選AI 評分79

Dust:不用反向傳播預訓練 Transformer 的零階方法

研究者提出 Dust,稱這是首個在預訓練 Transformer 語言模型上與反向傳播有競爭力的零階方法。它不擾動權重,而是在每個 token 上獨立擾動啟用(node perturbation),把每個 token 當作一個虛擬種群成員,一次前向傳播即可並行評估全部成員。論文稱在種群規模足夠大(即算力顯著更多)時 Dust 接近反向傳播,部分設定下甚至超過;

機器之心● 精選AI 評分81

斯坦福與 Together AI 提出 NCM,文字生成最高提速 31 倍

斯坦福大學與 Together AI 提出 Next-Concept Modeling(NCM),借鑑 NeurIPS 2024 最佳論文 VAR 的下一尺度預測,讓模型先並行寫出概念大綱、再逐層填充細節,形成不同於自迴歸與擴散的第三種文字生成範式。單塊 H100 上,XSum 摘要在 ROUGE-L 相當的情況下速度約為強擴散基線的 31 倍,LM1B 無條件生成約 21 倍,OpenWebText 約 10 倍,訓練 token 用量分別少 4.9 倍和 4 倍。

Hacker News front pageAI 評分50

開源基準 Parsimony 按語法單元統計 AI 新增程式碼量

Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。

llama.cpp releasesAI 評分37

llama.cpp b11471 為詞表加入 Plamo FIM tokens

llama.cpp 發布 b11471 建置,主要變更是向詞表加入 Plamo 的 FIM(fill-in-the-middle)tokens,服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

OpenAI News● 精選AI 評分64

OpenAI:Codex 與 ChatGPT Work 佔歐盟企業輸出 token 過半

OpenAI 經濟研究的報告顯示,在歐盟 ChatGPT Enterprise 客戶中,Codex 與 ChatGPT Work 已佔輸出 token 的一半以上,AI 使用正從提問轉向由 agent 執行任務。2026 年 5 月以來,歐盟中小企業中這兩款產品的周活躍使用者增長超過 8 倍,覆蓋每個成員國;但國別差異明顯,其輸出 token 佔比從斯洛維尼亞的 22% 到立陶宛的 85%。

Hacker News front page● 精選AI 評分76

LittleBit 開源亞 1-bit 量化官方實現,LittleBit-2 新增 Joint-ITQ 初始化

LittleBit 專案放出論文官方實現,可把 LLM 權重壓縮到 1.0 至 0.1 bits-per-weight,推理時保持原模型結構不變。ICML 2026 的 LittleBit-2 新增 Joint-ITQ 初始化,通過 --use_itq 開啟,只改初始化、不增加推理開銷,並支援 SmoothSign 量化感知訓練與可選殘差分解。

量子位● 精選AI 評分87

Claude Haiku 5.5 發布,跑分逐項超 GPT-6 Luna,價格最高降 90%

Anthropic 發布 Claude Haiku 5.5,官方跑分逐項超過 GPT-6 Luna,成為新的小模型守門員。10 萬 token 以內的請求輸入輸出價格降 90%,超出部分降 50%,但換用新 tokenizer 後同一任務耗費 token 更多,實際省下的錢少於標價折扣。它首次支援 low 到 max 五檔 effort 調節,OSWorld 2.1 上 Low 檔準確率 42.0%、單次成本 $0.07,Max 檔 72.4%、$0.61;

Hacker News front pageAI 評分71

AI 讓 unikernel 不再難:缺失的庫可用代理移植

AI 讓 unikernel 重新變得可行:過去要自己為應用手寫 TCP、HTTPS、儲存等庫,現在可以用 agent 把缺失的庫移植過來。文中舉例,把 Go 的 Stripe 庫移植成 OCaml,或讓 agent 用 Rust 重寫 mkfs.xfs,輸出與磁碟格式逐位元組一致,只花了幾小時。安全性上,unikernel 沒有 shell 和直譯器,攻擊面更小,常見的 drive-by RCE 會變成需要原始碼的定向攻擊;