AISpot

搜尋

依意思最接近的 16 筆

llama.cpp releases10/6 19:16AI 評分40

llama.cpp b11447 發布:新增 pplx-decider 模型支援

llama.cpp 發布 b11447 建置版本,本次列出的功能變更是新增對 pplx-decider 模型的支援(PR #30044)。該版本一次性放出 macOS/iOS、Linux、Android、Windows、openEuler 五個平台的預編譯產物,計算後端覆蓋 CPU、CUDA 12.8 與 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL,以及驍龍平台的 Adreno GPU 與 Hexagon NPU;

X @OpenAIDevs● 精選10/6 21:47AI 評分78

@OpenAIDevs: Let your app choose the right model, tool, or action in near real-time with Decisions API, now avai…

OpenAI 開發者帳號宣布,Decisions API 現已進入公開測試,面向所有開發者開放。這個 API 讓應用能夠近乎即時地選擇模型、工具或動作,官方給出的對比資料是:經由 Responses API 呼叫時,其決策速度最高可達 GPT-6 Luna 的 10 倍。該功能目前處於 public beta 階段。

Hacker News front page● 精選10/6 21:57AI 評分83

OpenAI 上線 Decisions API 公測,僅支援 gpt-6-luna

OpenAI 的 Decisions API 進入公測,官方稱其評估文字、影像或兩者並返回結構化答案的速度約為 Responses API 的 10 倍,預計數週內 GA。該 API 使用獨立的 POST /v1/decisions 端點,目前僅支援 gpt-6-luna,問題分三類:predicate 返回條件成立機率(0 到 1)、choice 從給定選項中選一個、score 按有序等級給出機率加權平均分。

X @OpenAIDevs10/6 21:47AI 評分37

@OpenAIDevs: Developers have been using the Decisions API to:

OpenAI 開發者帳號公布 Decisions API 的六類典型用法:把請求路由到合適的模型、工具或智慧體;把規模化輸入轉成標籤、排名和評分;分析影像、比較視覺內容或定位影片關鍵幀;依據截圖選擇按鈕、填寫表單或判斷操作;標記有風險的工具呼叫或需深入審查的問題;以及對大規模資料集分類以發現趨勢和模式。推文未給出定價、可用範圍或上線時間等資訊。

Cloudflare blog (AI)● 精選10/1 16:34AI 評分75

Cloudflare 開源決策模型 Clef,並推出 RL 微調平台

Cloudflare 發布兩個自研決策模型 Clef 與 Clef-flash,託管於 Workers AI,並以 Apache 2.0 許可在 Hugging Face 開源,可本地執行。Clef 在 Jev Decision Index 上排名第一,具備視覺編碼器與 64k 上下文視窗,中位延遲 209.3ms,快於 Jev 的 524.1ms。同時推出強化學習微調產品,供使用者按自身場景微調 Clef。

TechCrunch AI10/6 21:35AI 評分69

Musubi 發布開放權重決策模型 PolicyLM-1.7B 用於內容稽核

Musubi 於週二發布輕量級決策模型 PolicyLM-1.7B,開放權重,專為即時內容稽核設計,可在 50 毫秒內把用自然語言寫成的社群政策套用到訊息上。其成本與速度接近多數社交平台現用的 AI 分類器,但無需專門訓練即可執行復雜政策,政策變更時也不必重新訓練,模型只輸出內容是否屬於某類別的二元判斷。聯合創始人兼首席 AI 官 Filip Jankovic 稱這讓平台管理者能主動、可擴充套件地標註內容;

Ollama releases10/4 15:45AI 評分45

MLX v0.40.0-rc1 對齊發布方 tokenizer 語義

MLX 發布 v0.40.0-rc1,核心改動是讓本地 tokenizer 與模型發布方的語義保持一致,涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序,並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例,直接拉取缺失模型並在出錯時失敗,另加配置優先順序、位元組回退與並行編碼的迴歸測試。

Ollama releases● 精選10/5 00:54AI 評分75

Ollama v0.40.0:Apple Silicon 預設用 MLX 跑模型

Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構將自動改用 MLX 執行。可用模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已登陸 MLX,官方稱會繼續測試並啟用更多模型。

Ollama releases● 精選10/6 19:47AI 評分82

Ollama v0.40.0:Apple Silicon 預設用 MLX 執行模型

Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。

Latent Space● 精選9/30 23:23AI 評分82

OpenAI 發布 Dots、GPT-6.1 Sol 與 Agents API

OpenAI 在 DevDay 上發布個人助理產品 Dots、新模型 GPT-6.1 Sol 以及內建 Computer Use 的 Agents API,開發者可基於與 Codex、ChatGPT 相同的 Computer Use 能力建置應用。GPT-6.1 Sol 的 Computer Use 成本約為 Astra 的七分之一。播客還討論了非同步工具呼叫、UltraFast 推理、Decisions API、提示快取與上下文壓縮等新開發者棧。

r/LocalLLaMA top of the day10/3 19:24AI 評分42

專用推理引擎興起,放棄通用性換極致效能

近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。

X @ollama● 精選10/3 01:56AI 評分72

Cloudflare 決策模型 Clef 上線 Ollama

Cloudflare 的決策模型現已在 Ollama 上可用,可通過 ollama pull 直接拉取。該系列模型用於影像分類、給 bug 報告打標籤、把支援工單路由到對應團隊。提供兩個版本:Clef(27B)和 Clef Flash(9B),拉取命令分別為 ollama pull clef 與 ollama pull clef-flash。