AISpot

開源

10月3日星期六 · 14 則

  1. r/LocalLLaMA top of the dayAI 評分33

    mlsubgen 本地生成 45 種語言字幕,僅支援 Linux 與 NVIDIA

    mlsubgen 是一個完全在本機執行的字幕生成工具,支援 45 種語言,但僅限 Linux 和 NVIDIA 顯示卡。它按語音片段而非整檔案檢測語言,可處理混合語言素材;同時執行兩個語音識別器並由本地 LLM 調和結果,且優先使用檔案內嵌字幕(包括藍光 PGS 點陣圖字幕的 OCR),無字幕可讀時才轉錄音訊。作者在 24 GB RTX A5000 上執行,提供 16、12、8 GB 視訊記憶體配置,需 16–32 GB 系統記憶體和 30–65 GB 模型儲存;

  2. r/LocalLLaMA top of the dayAI 評分61

    Strata 搭配 Qwen3.8 Next 讓慢記憶體跑出 45-70t/s

    有使用者用 Strata 加 Qwen3.8 Next 的 IQ3_XXS 權重(接近 80GB),在 DDR4 加 7900XTX 的慢速記憶體機器上穩定跑到 45-70t/s,編碼時偶爾更高;同樣配置下調優後的 llama.cpp 最高只有約 22.5t/s。12GB 和 16GB 顯示卡使用者反饋結果相近,DDR5 使用者則明顯更快。作者建議讓 LLM 按自己的硬體配置來設定,並提醒不要用 Q2 權重。

  3. llama.cpp releases● 精選AI 評分80

    llama.cpp 為投機解碼加入機率取樣與拒絕取樣

    llama.cpp 合併 PR #27694,把 simple draft 與 MTP 的投機解碼改為機率取樣,目標模型用拒絕取樣驗證草稿 token。新增開關控制機率草稿取樣,預設仍為貪心;語法約束請求回退到 argmax,並支援在拒絕取樣中處理語法約束。同時修復了草稿取樣器與目標模型共用 rng 流、掩碼後分布未重歸一化等問題,並隨草稿一起截斷候選。

  4. r/LocalLLaMA top of the dayAI 評分42

    LocalLLaMA 討論 EU Kids Act 是否會被用來打壓開源權重

    r/LocalLLaMA 上一則討論帖質疑歐盟 Kids Act 等立法是否會被當作特洛伊木馬,用來針對 AI 開放權重。帖中評論提到,歐盟年齡驗證將於 2027 年 1 月大規模推行,Discord 已承壓但拒絕啟用,至少拖到明年;有使用者引用官方提案稱,社媒和影片平台需在開新帳號時驗證年齡,應用商店也須提供年齡核驗工具。討論還涉及瑞士、挪威是否適用,以及布魯塞爾遊說團體密度等問題。

  5. llama.cpp releasesAI 評分58

    llama.cpp 修復 qkx3 量化縮放搜尋的非法舍入

    llama.cpp 合併 PR #29817,在 qkx3 量化級別送入 nearest_int 前先鉗制到 [0, nmax],避免 imatrix 縮放搜尋產生無窮、NaN 或越界值時觸發 Debug 建置斷言。該問題由 #29804 報告,修復同時為 q2_K、q4_K、q5_K、q4_1、q5_1 的退化 imatrix 分組補充迴歸測試。合法範圍內的取值行為不變,macOS Apple Silicon(arm64)等預編譯包已隨本次發布更新。

  6. r/LocalLLaMA top of the dayAI 評分30

    MegaCapybara 發布:RTX5090 上跑 Qwen3.8 27B 的推理引擎

    MegaCapybara 是專為 RTX5090 打造的推理引擎,聚焦 Qwen3.8 27B,解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍:單路編碼可達 500+ t/s,12 個 agent 併發、800k 上下文時可達 2000+ t/s。它自帶權重格式與後設資料,載入前會展示各量化設定相對 BF16 的 KL 與 top-1% 損失,並支援智慧 VRAM-RAM-DISC 快取、Loop Guard 與圖形介面。採用 MIT 許可,原始碼與權重建置器稍後發布。

  7. TechCrunch AIAI 評分43

    Meta 開源 Muse Gadgets,可自建硬體接入 Muse

    Meta 推出開源專案 Muse Gadgets,開發者可用官方開源韌體和 Linux SDK 自製硬體連線其個人 AI 助手 Muse,支援樹莓派、ESP32 等開發板,接入螢幕、按鈕、感測器與執行器。Meta 還免費發放 5000 臺 Muse Home Link(USB-C 供電,讓 Muse 連線家庭網路並控制智慧音箱、電視),限 Muse 訂閱者先到先得,預計數週內發貨。

  8. llama.cpp releases● 精選AI 評分68

    llama.cpp 新增 /v1/systemone API,支援 laya 等 5 個模型

    llama.cpp 發布 b11361,在 server 中新增 /v1/systemone API,支援 laya、julia-1、lev、openjev、kev 五個模型,並附帶模型轉換指令碼。該版本加入了共享 prompt 字首與視覺輸入支援,新增用於測試的小模型 openjev tiny,文件中明確說明不支援 date_facts。macOS Apple Silicon(arm64)建置正常,但啟用 KleidiAI 的 arm64 版本被標記為 DISABLED;

  9. r/LocalLLaMA top of the dayAI 評分37

    LocalLLaMA 討論 jev 分類模型的實際使用體驗

    r/LocalLLaMA 使用者分享 jev 系列分類模型(classifier)的真實用例:有人用 jev-reviewer 定位論文證據、避免引用幻覺,有人用 is-malicious 掃描 GitHub 倉庫與 PR 的惡意行為,還有人用 decider 4b 替代 Gemma 雙階段流程,把語音 RPG 延遲從 4-8 秒降到 2-3 秒。

10月2日星期五 · 26 則

  1. r/LocalLLaMA top of the dayAI 評分27

    開發者開源二戰主題小模型 Peacebell,291M 與 148M 兩版

    開發者 Wayne Workman 用 11 個月業餘時間從零訓練了專注二戰資訊的小語言模型 Peacebell,已開源權重與訓練材料,含 291M 和 148M 兩個引數版本。148M 版是為參加 HuggingFace 限制 150M 以內模型規模的榜單而做,同時發布了 WWII 主題基準 ww2bench,題目不公開以防進入訓練資料。模型可在 CPU 上執行,作者提供了定製 vLLM fork,並稱其長上下文表現較差,下一版預計 2027 年發布。

  2. r/LocalLLaMA top of the dayAI 評分47

    RTX PRO 6000 實測 Qwen3.8 三版本:DFlash2 提速 2.8 倍

    在單張 RTX PRO 6000 Blackwell 96GB 上,Qwen3.8-27B 用 DFlash2 草稿模型把 Spec-Bench 單使用者解碼從 75 tok/s 提到 210 tok/s,約 2.8 倍;NVFP4 比 BF16 快 2.2 倍。三款檢查點中 Flash-Next 預填充 22.4 秒、27B 為 97 秒,長上下文召回三者均滿分,BFCL 工具呼叫 27B 以 73.3% 領先。

  3. Hacker News front pageAI 評分62

    Ai2 開源 AstaBrief 8B 科學報告模型與訓練資料

    Ai2 開源 AstaBrief 8B:一個把研究問題與檢索到的文獻片段轉成帶引用報告的模型,基於 Qwen3-8B 用 SFT 與 DPO 訓練,權重、訓練資料和一份可從自己 PDF 生成報告的範例工作流一併放出。它已作為 Asta 的 Generate a report 功能中的 Fast mode 上線,與 Claude 驅動的 Thinking mode 並存;

  4. Google Developers blogAI 評分43

    MaxText 團隊在 TPU 上從零復現 Olmo 3 7B 預訓練

    MaxText 團隊用 JAX/XLA 在 Google Cloud TPU 上從零復現了 Ai2 的 Olmo 3 7B 語言模型,在預訓練與中期訓練階段的所有 held-out 評測上與原版 PyTorch-on-GPU 參考實現精確一致。實現最高達到 57.4% MFU,且在不改動訓練配方的情況下撐過了執行中的叢集縮擴容和跨代 TPU 切換,驗證了基礎設施的可移植性。

  5. Meta AI blogAI 評分54

    Meta 開源 SAM 3 與 DINOv3 支撐 DOE 的 SYNAPS-I 影像分割

    Meta 的開源視覺模型 SAM 3 與 DINOv3 是 DOE 旗艦專案 SYNAPS-I 影像分割流水線的核心。該專案由伯克利實驗室牽頭,聯合 Argonne、Brookhaven、Oak Ridge 與 SLAC,目標是把 X 射線與中子科學的資料分析從數月瓶頸變為即時;團隊在光束線資料上微調兩模型,部署到 NERSC 等設施的 300 張 A100 GPU 上,約 15 分鐘即輸出帶語義標籤的三維體資料,而此前每個時間步需一個月專家標註。

  6. Meta AI blogAI 評分46

    匹茲堡大學在輔助機器人中用 Meta 的 DINOv3 與 SAM

    匹茲堡大學 HERL 實驗室聯合 ATDev 推進 RAMMP 輔助機器人專案(7 月 27 日發布),用 Meta 開源的 DINO、DINOv3 和 SAM 視覺模型做環境感知,專案獲美國 ARPA-H 最高 4150 萬美元資助。美國約有 550 萬輪椅使用者,每年逾 10 萬起輪椅相關傷害送進急診。團隊把模型最佳化到電池供電的邊緣裝置上執行:降低記憶體佔用、按需使用低精度、控制解析度與批處理,以犧牲少量邊界精度換取即時性與穩定性。

  7. Meta AI blogAI 評分45

    Meta 發布 Brain2Qwerty v2,無創即時把腦訊號解碼成句子

    Meta 發布 Brain2Qwerty v2,無需手術植入,即可從非侵入式 MEG 腦訊號即時解碼出連貫句子,詞準確率達 61%,遠高於其他無創方法的 8%,最佳受試者達 78%,其中過半句子錯誤不超過一個詞。模型用 9 名志願者、每人佩戴 MEG 邊打字邊記錄 10 小時、共約 22,000 句的資料訓練,採用端到端深度學習直接從原始腦訊號解碼,並微調大語言模型利用語義上下文。

  8. Kimi blog● 精選AI 評分83

    Kimi K2.6 開源,主打長程編碼與 agent swarm

    Kimi K2.6 已開源,可通過 Kimi.ai、Kimi App、API 和 Kimi Code 使用,主打長程編碼、長時間執行與 agent swarm。官方稱其在內部 Kimi Code Bench 上較 K2.5 顯著提升:一個案例是在 Mac 上用 Zig 實現並最佳化推理,4000+ 次工具呼叫、連續執行 12 小時、14 輪迭代後吞吐從約 15 升至約 193 tokens/sec,比 LM Studio 快約 20%;

  9. Kimi blog● 精選AI 評分82

    Kimi K3 發布:2.8T 引數開放模型,支援 100 萬 token 上下文

    Kimi K3 是首個開放的 3T 級模型,2.8T 引數,帶原生視覺能力和 100 萬 token 上下文視窗,今日已在 Kimi.ai、Kimi Work、Kimi Code 和 Kimi API 上線,預設使用 max thinking effort,低/高 effort 模式後續推出。完整模型權重將於 2026 年 7 月 27 日前發布。官方稱其整體效能仍落後於 Claude Fable 5 和 GPT 5.6 Sol,但在自家評測套件上達到前沿水平;

  10. Kimi blog● 精選AI 評分65

    Kimi 團隊開源 WorldVQA 多模態視覺世界知識基準

    Kimi 團隊開源 WorldVQA,一個用 3500 組影像-問題對衡量多模態大模型視覺世界知識事實正確性的基準。資料分 9 大類,36% 中文、64% 英文,並區分常見(Head)與長尾(Tail)知識,全部經過多階段人工校驗。測試顯示前沿模型長尾題準確率常低於 50%,且普遍過度自信:表現最好的 Kimi-K2.5 校準誤差 ECE 為 37.9%、斜率 0.550,距理想值仍有明顯差距。資料集與評測指令碼已開源。

  11. DeepSeek news● 精選AI 評分87

    DeepSeek 發布 V4.1-Flash:552B MoE,KV 快取降至上代 1/4

    DeepSeek 發布 V4.1-Flash:552B MoE、原生多模態,已上線 DeepSeek API(模型名 deepseek-flash),舊版 V4-Flash 與 V4-Flash-Vision-Exp 退役。新因果編碼器–解碼器架構只有 8B 輸入、16B 輸出啟用引數,KV 快取降至上一代的 1/4 HBM 與 1/8 SSD,官方稱多方測試顯示其在效能、成本、速度和總執行時間上超過 V4-Pro,V4-Pro 將逐步淘汰。

  12. The Verge AIAI 評分46

    Meta 開原始碼,讓使用者自製 Muse AI 硬體

    Meta 開源了讓使用者自己動手製作 Muse 硬體裝置的程式碼,這些裝置執行 Meta 新的 AI 智慧體 Muse。官方稱可用現成的 ESP32 開發板,或用 Raspberry Pi 搭配其 SDK,再連線螢幕、按鈕、感測器、執行器等外設。Meta 舉例的玩法包括:用彩色電子墨水屏顯示提醒、把 Muse 裝進 HDMI 棒投到大屏、或裝在小觸屏上做出類似 DIY Muse Charm 的裝置。

  13. r/LocalLLaMA top of the day● 精選AI 評分80

    微軟發布 4B 智慧體模型 FrogNano,主打倉庫級編碼

    微軟發布 FrogNano-4B-2609,一個面向算力有限開發者的 4B 智慧體模型,Hugging Face 上已有 GGUF 量化版本。它由 Qwen3.5-4B 派生,沿用 32 層混合 Gated DeltaNet 與門控注意力架構,後訓練為純文字、聚焦倉庫級軟體工程,用強化學習在約 1500 個 TaskPilot 生成的合成 SWE 環境上訓練,獎勵來自可執行測試,配套五工具的 Leaf harness。與行為蒸餾不同,它不訓練強模型的解題軌跡。

  14. Hacker News front pageAI 評分42

    開源工具用 GPT-6 Astra 與 Opus 5.5 生成 LDraw 樂高模型

    一位開發者發布了開源樂高 AI 生成器:一套 Python 工具、指令與文件,讓 AI agent 直接生成 LDraw 語言的樂高 CAD 模型。作者從去年 12 月開始試驗用 ChatGPT 和 Claude 寫 LDraw 程式碼,最終用 GPT-6 Astra 和 Opus 5.5 跑通,並打包成 Docker 化 Web 應用,可選 OpenAI、Claude、OpenRouter 三類提供方。

  15. Hacker News front pageAI 評分44

    Pi pod 發布:在自有伺服器沙箱中執行 pi coding agent

    Pi pod 是一個圍繞 pi coding agent 建置的自託管沙箱環境,可讓你在自己的伺服器上以隔離沙箱方式執行 pi,並補充了 agent 沙箱、原生客戶端、RBAC 會話共享和介面自動化等能力。自託管版現已提供倉庫可直接部署,託管服務尚未上線,官方計劃 v1 提供需綁卡的 7 天 Standard 試用(10 個活躍小時,之後 20 美元/月)或 50 美元/月的 Pro 方案。

  16. r/ClaudeAI top of the dayAI 評分50

    Claude Code 外掛 Claude Fables 把工具呼叫演成動畫

    免費開源的 Claude Code 桌面版外掛 Claude Fables 已發布在 GitHub,Claude 工作時它會觀察每次工具呼叫和每行輸出,每隔幾秒在輸入框上方用一段短動畫複述最新進展。Claude 是個橙色小生物,有 20 種動作、7 個場景和 11 種視覺風格,用 /fables style 切換;安裝只需把倉庫路徑寫進 ~/.claude/settings.json 的 CLAUDE_CODE_PLUGIN_DIRS 再重啟應用。

  17. llama.cpp releasesAI 評分50

    llama.cpp 為 ggml 緩衝區介面新增 alloc_buffer_n 與 get_alloc_size_n

    llama.cpp 的 ggml 後端緩衝區型別介面新增 alloc_buffer_n 與 get_alloc_size_n 方法,並公開 ggml_backend_buft_alloc_buffer_n、ggml_backend_buft_get_alloc_size_n 兩個 API。預設實現負責多緩衝區分割與張量分配,Meta buffer type 提供自訂實現,按裝置建立子上下文並委託給 simple buffer type;

  18. r/LocalLLaMA top of the dayAI 評分59

    llama.cpp 新 PR 把共享專家融合進 CUDA MMVQ

    llama.cpp 的 PR #29184(作者 am17an)提出在 CUDA 後端把 MoE 的共享專家融合進 MMVQ 運算元,為部分 MoE 架構(例如 Qwen 35B A3B)帶來推理加速。評論區給出的初步結論是 token 生成速度最多提升約 5%,屬於穩步積累而非革命性改動。該改動僅針對 CUDA 後端、且只對部分 MoE 架構生效,Metal 等其他後端不受影響。

  19. r/ClaudeAI top of the dayAI 評分42

    DensePack 把文字打包成圖片,Claude Code 省一半 token

    DensePack 是一個 Claude Code 外掛,把 Read 讀取的文字、Bash 輸出、Word 檔案和子代理報告打包成圖片交給 agent 閱讀,按作者基準測試可省約 50% 的 token 費用,且後續快取讀取也按這個折扣計價。它用顏色編碼和兩行圖例,聲稱能從圖片逐位元組還原始碼檔案,並保留文字副本作為回退。專案發布兩週、獲 8 個 star,已通過 Anthropic 外掛提交的初期階段,最新版本 1.3.3,1.4 將支援與其他外掛共用。

  20. Hugging Face blog● 精選AI 評分65

    Ai2 開源 AstaBrief 8B 科學報告生成模型

    Ai2 開源了 8B 的科學報告生成模型 AstaBrief,可把研究問題和檢索到的文獻片段直接寫成帶引用的報告。它已在 Asta 的 Generate a report 功能中以 Fast mode 上線,與 Claude 驅動的 Thinking mode 並列:Fast mode 平均 51.1 秒生成一份報告,Thinking mode 為 178.5 秒,快約 3.5 倍。模型基於 Qwen3-8B,用 SFT 加 DPO 訓練,一次成稿,跳過了片段摘要與聚類環節。

更早的內容