AISpot

MLX

近期事件

  1. 1
    Cloudflare 開源決策模型 Clef，Ollama 已支援
    熱度 0.83 個來源 · 4 則10/3 01:56

10月3日星期六 · 1 則

  1. llama.cpp releases● 精選AI 評分80

    llama.cpp 為 Metal 加入 F16 KV 的 tensor API flash attention 核心

    llama.cpp 合併 PR #29570，在 Metal 後端新增基於 tensor API 的 flash attention 核心，支援 F16 KV 快取。同一批提交還補充了 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等形狀的 tensor FA 核心，並支援 attention sinks、ALiBi 與 logit softcap。

    推薦理由：你準備用 Mac Studio 跑本地開源模型，這條直接關係到 Apple Silicon 上長上下文推理的視訊記憶體佔用與速度，可等新版 llama.cpp 發布後實測對比 MLX 與 Ollama 的表現。

    地端推論開源llama.cppMetalFlash AttentionApple Silicon推理核心
    閱讀原文

10月2日星期五 · 1 則

  1. Ollama releases● 精選AI 評分75

    Ollama v0.35.1 接入 Cloudflare 決策模型 Clef 與 Clef Flash

    Ollama v0.35.1 新增對 Cloudflare 開源決策模型 Clef（27B）與 Clef Flash（9B）的支援，通過 /v1/systemone 呼叫。兩者支援多模態，請求可同時傳入圖片與文字 state，所有 questions 共享該狀態並聯合打分，返回如 noul 機率 0.958 的答案。

    推薦理由：你在 Mac Studio 上本地跑開源模型時，可以直接用 Ollama 試這兩個多模態決策模型，並留意 llama.cpp 與 MLX 引擎更新對 Apple Silicon 推理的影響。

    模型產品與方案OllamaCloudflareClef多模態本地推理
    3 個來源 · 4 則報導閱讀原文