X @ggerganov10/7 18:52AI 評分62
llama.cpp 借 ggml RPC 後端實現異構裝置分散式推理
llama.cpp 現在可以通過 ggml RPC 後端，把推理任務分散到異構裝置上共同完成，即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明，這一能力目前仍是進階設定，但會隨時間逐步降低使用門檻，讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。
搜尋
依意思最接近的 5 筆
Hacker News front page10/4 20:42AI 評分72
斯坦福 Ousterhout 提出 Homa 協議替代 TCP
斯坦福教授 John Ousterhout 在 AI Engineer 演講中提出 Homa，一種面向資料中心的全新傳輸協議，認為 TCP 和 RDMA 正成為 AI 叢集的瓶頸。他指出 AI 負載已從大流量梯度傳輸轉向 KV cache 查詢、屏障同步等小訊息協調，這類訊息對延遲敏感，一旦與大數據流混排就會陷入 incast 佇列，拖高尾延遲並讓 GPU 空轉。Homa 基於訊息而非位元組流，採用接收端驅動的擁塞控制，並用 SRPT 優先排程短訊息。
r/LocalLLaMA top of the day10/3 19:24AI 評分42
專用推理引擎興起，放棄通用性換極致效能
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
TechCrunch AI10/7 15:41AI 評分56
Tony Fadell：首波 AI 硬體失敗，因未解決真實需求
Fadell 在 MIT Future Fest 上表示，Rabbit R1、Humane Ai Pin 和 Limitless 掛墜這批第一代 AI 硬體失敗，是因為沒有解決任何真實需求，只是對極客有趣的技術。他指出全球不到 0.01% 的人用過人類助理，多數消費者並不知道助理是什麼，建立信任需要數年。
The Verge AI10/6 17:29AI 評分45
AI 硬體正在改寫錄製定義，Apple 智慧家居新品被點名
The Verge 刊文指出，隨著 AI 硬體的出現，科技公司正在重新定義什麼才算「錄製」。過去帶麥克風或攝像頭的裝置基本只有開與關兩種狀態：麥克風採集聲音、攝像頭採集影像，資料先儲存在裝置上，有時再上傳雲端處理，這些被保留下來的時間切片就是錄製。文章認為這一定義正被打破，並援引 Bloomberg 記者 Mark Gurman 上週的報導，稱 Apple 正在開發一款智慧家居產品。