AISpot

搜尋

依意思最接近的 15 筆

llama.cpp releasesAI 評分43

llama.cpp 在 AMD 上用不依賴 WMMA 的 SIMT conv2d

llama.cpp 新建置 b11623 中,CUDA 後端的 conv2d 在 AMD 顯示卡上改用 SIMT 隱式 GEMM 實現,不再依賴 WMMA。提交說明提到,短歸約場景會跳過 SIMT conv2d,相關注釋也已更新。該版本照例放出各平台預編譯包,含 Ubuntu 與 Windows x64 的 ROCm 10.0、CUDA 12/13,以及 Vulkan、SYCL、OpenVINO、Snapdragon 等;

llama.cpp releasesAI 評分36

llama.cpp SYCL 後端修復 CONV_2D 錯誤結果並支援 CWHN 佈局

llama.cpp 的 SYCL 後端修復了 CONV_2D 在非連續輸入下靜默算錯的問題,並新增對 CWHN 通道序佈局的支援。此前 supports_op 聲稱支援任意佈局,但卷積 kernel 按連續的 [W, H, C, N] 索引,CWHN 等排列的輸入會被用錯誤偏移讀取;現在改為與 CUDA 後端約定一致,對輸入和卷積核的連續性做校驗。

llama.cpp releasesAI 評分43

llama.cpp 修復 ggml conv_1d 批次輸入轉置錯誤

llama.cpp 修復了 ggml conv_1d 在批次輸入下輸出通道與批次維度錯位的問題。conv_1d 背後的 GEMM 把 batch 折進行,結果在記憶體中是 [OL, N, OC],reshape 卻宣告為 [OL, OC, N],形狀正確但內容被轉置,因此不報錯、通道與批次交錯;N==1 時兩種讀法等價,倉庫裡三個 vocoder 都沒觸發。

llama.cpp releasesAI 評分43

llama.cpp 將 ggml-cpu 的 concat 重寫為單一 row kernel,覆蓋全部型別

llama.cpp 建置 b11906 把 ggml-cpu 的 concat 重寫為單個按行執行的 kernel,所有型別共用一套實現,量化型別也包含在內:稠密源行只需一次 memcpy,轉置源則按元素逐個複製,元素大小在編譯期已知。行不再只沿 i2 維度切分(該維度常為 1),而是按 32 行一組分塊分給多執行緒;遇到轉置源時在外層迴圈遍歷元素,讓同一 tile 的各行讀取相鄰地址。

llama.cpp releasesAI 評分42

llama.cpp Vulkan 後端為 conv3d 增大 tile,僅限 coopmat2 與新驅動

llama.cpp 建置 b11877 給 Vulkan 後端的 conv3d 增加了更大的 tile 尺寸,只在 coopmat2 路徑啟用。原因是這條路徑不需要用共享記憶體存放輸出,否則會超過 64KB 上限。該大 tile 只對較新版本的驅動生效,同時補充了若干代表性後端測試;發布說明稱這套改動來自 codex 檢視 sd.cpp 的 Wan VAE 後給出的方案。

Simon WillisonAI 評分23

班·艾佛列克談 VFX 中已用多年的機器學習

班·艾佛列克在引述中表示,視覺特效工作流多年來一直包含機器學習,他把卷積神經網路(CNN)稱為 transformer 的前身,區別在於後者能同時做更多計算。他自述能寫「很糟糕的 Python 指令碼」,並解釋張量是畫面在數值上的翻譯——批次號、幀號,以及每幀每個畫素的紅綠藍值。CNN 在張量上做邊緣檢測與特徵提取,識別出窗臺在哪裡,就能更容易地把綠幕部分摳掉並替換成別的內容。

Hacker News front pageAI 評分73

AI 設計的開源加速卡 openTPU 跑通十餘款模型

一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。

llama.cpp releasesAI 評分38

llama.cpp 新建置支援 CUDA 下 7 尺寸 SSM 卷積核

llama.cpp 發布 b11770 建置,CUDA 後端新增對 ssm_conv 卷積核尺寸 7 的支援(#30873),補齊狀態空間模型在 GPU 上的運算元覆蓋。該版本同時提供 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

Hacker News front page● 精選AI 評分87

FLUX 3 Image Klein 開源發布,8GB 視訊記憶體可本地跑

Black Forest Labs 發布 5.6B 引數的開源權重模型 FLUX 3 Image Klein,支援文生圖、影像編輯和最多 10 張參考圖的多參考生成,並保留原生 4K 與邊界框控制。INT8 版本可在 8GB 視訊記憶體的 NVIDIA RTX 顯示卡上通過 ComfyUI 或 Diffusers 執行,蒸餾模型在 RTX 5090 上約 4 秒生成一張 1MP 影像,RTX 4070 上不到 9 秒。

Hacker News front pageAI 評分74

10 年前 CNN 皮膚癌診斷準確率 62%,勝過 GPT-6 Astra 與 Claude

2015 年發布的 Inception v3 卷積網路經約 20 分鐘微調後,在 200 個活檢確診的皮膚病變中首選診斷正確 125 個(62%),高於 GPT-6 Astra 的 84 個與 Claude Fable 5.1 的 85 個(均 42%)。測試集取自 2025 年公開的 MILK10k,每例含臨床照片與皮膚鏡影像,模型小到可在手機瀏覽器用 WebGPU 本地執行,影像不上傳。

Hacker News front page● 精選AI 評分85

Google 發布 EmbeddingGemma 2,740M 引數開源端側多模態嵌入模型

Google DeepMind 發布 EmbeddingGemma 2,一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型,基於 Gemma 4 架構,把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化:純文字最低 270M 引數,另有 170M 視覺與 300M 音訊編碼器;MRL 支援把 768 維向量截斷到 128 維,本地儲存最多省 6 倍。

X @GoogleDeepMind● 精選AI 評分73

@GoogleDeepMind: Meet EmbeddingGemma 2, our first natively multimodal open model for on-device embeddings.

Google DeepMind 發布 EmbeddingGemma 2,稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外,把程式碼、影像、音訊與影片統一對映到同一個共享向量空間,可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位,未公布引數規模、上下文長度、適配硬體與開源許可等細節。