本地 AI 愛好者分享常用模型、硬體與框架組合
X 使用者 @awnihannun 發帖指出,本地 AI 愛好者正在分享各自偏好的模型、硬體與推理框架搭配。原帖只有這一句描述,沒有列出具體模型名稱、硬體型號或框架版本,也未附連結、資料或對比結論。
依意思最接近的 30 筆
X 使用者 @awnihannun 發帖指出,本地 AI 愛好者正在分享各自偏好的模型、硬體與推理框架搭配。原帖只有這一句描述,沒有列出具體模型名稱、硬體型號或框架版本,也未附連結、資料或對比結論。
Reddit 的 r/LocalLLaMA 版塊一則帖子下,使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢,可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上;也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
Cerebras 聯合創始人兼 CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上稱,人人家裡都有一臺 AI 裝置的未來並不遙遠,個人 AI 助理會像手機一樣部分在本地執行、部分回到雲端。他預計這些助理會非常瞭解使用者、擁有獨立的安全邊界,還能接入信用卡代為購物。Feldman 自己已用一組 agent 整理日程、準備通話物件的背景資料,但他表示消費級創意留給其他創業者,Cerebras 只做平台。
《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗,此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行,但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家,會邊用邊寫。
Fadell 在 MIT Future Fest 上表示,Rabbit R1、Humane Ai Pin 和 Limitless 掛墜這批第一代 AI 硬體失敗,是因為沒有解決任何真實需求,只是對極客有趣的技術。他指出全球不到 0.01% 的人用過人類助理,多數消費者並不知道助理是什麼,建立信任需要數年。
在巴塞羅那 Smart City Expo 上,NVIDIA 與合作伙伴宣布把物理 AI 與智慧體 AI 擴充套件到全球城市,用於居民服務、視覺智慧體與基礎設施數字孿生。西班牙 1MillionBot 將 ALIA 開源模型與 Nemotron 用於市政服務智慧體,已有 150 多個部署;馬來西亞 ITMAX 的 SamurAI V2 視覺智慧體計劃到 2027 年支援 1.7 萬多路攝像頭,其 TeraSim 模擬把高峰通行時間最多縮短 26%。
The Verge 刊文指出,隨著 AI 硬體的出現,科技公司正在重新定義什麼才算「錄製」。過去帶麥克風或攝像頭的裝置基本只有開與關兩種狀態:麥克風採集聲音、攝像頭採集影像,資料先儲存在裝置上,有時再上傳雲端處理,這些被保留下來的時間切片就是錄製。文章認為這一定義正被打破,並援引 Bloomberg 記者 Mark Gurman 上週的報導,稱 Apple 正在開發一款智慧家居產品。
Meta 開源了讓使用者自製 Muse AI 硬體裝置的程式碼,Muse 是其新的 AI agent。官方建議的玩法包括把 Muse 裝到彩色 E Ink 屏上顯示提醒、裝到 HDMI 棒上投到大屏,或裝到小觸控式螢幕裝置上做成類似 DIY Muse Charm 的形態。使用者可用現成 ESP32 板或 Raspberry Pi 配合官方 SDK,連線顯示屏、按鈕、感測器、執行器等外設。
NVIDIA 將於 10 月 16 日正式發布 RTX Spark,一款面向創作者、玩家和 AI agent 的 Windows PC,主打本地 AI 效能。Tom's Hardware、TrustedReviews 等媒體評測稱其遊戲與本地 AI 表現突出,Artificial Analysis 也提供了獨立測試資料。當天舊金山、柏林、臺北、北京、首爾、伊斯坦布林等地舉辦發布活動,多數需提前報名,北京場通過微信報名。
Runware 宣布要建工廠,像造車一樣在流水線上量產模組化 AI 資料中心,目標到 2028 年讓羅馬尼亞工廠日產能達到 30 兆瓦,約合每月近 1 吉瓦。其 Sonic 推理艙的建造時間將從三週縮短到一天,運抵後 48 小時內完成安裝上線;客戶可自備 GPU 並支付月費,也可直接向 Runware 租算力,電力與網路另計。
小米開源了 AI 桌寵硬體 HachimoDock,軟體原始碼已上傳 GitHub,硬體物料清單、結構件模型與裝配教程在嘉立創公開,自製成本約 150 元。它結合按鍵、搖桿、語音和觸屏,可語音指揮電腦端 Agent(如 Codex、WorkBuddy)並在螢幕上顯示思考、執行、等待確認等狀態,還能借 xiaomi Miloco 聯動智慧家居。內建小狗形象可換成照片或社群數萬形象,使用者能用自然語言分鐘級生成元件;熱度已導致開發板、螢幕等元器件漲價缺貨。
OpenAI CEO Sam Altman 在 YouTube 頻道 Cheeky Pint 的喝酒訪談中稱本地推理“相當糟糕”,認為全球有限的 DRAM 應優先供給資料中心,而不是留在個人電腦裡。他給出的理由是,讓大量 DRAM 分散在家用電腦中、僅被使用約 5% 的時間,從全球資源分配角度看非常不合理。該訪談中並未宣布 OpenAI 的產品或政策變化,討論則集中在本地執行模型與記憶體供應分配。
前輝達產品營銷負責人、現 Techable Ventures 創始人 Amulya Vishwanath 表示,物理 AI 目前仍處於「樂高時代」,機器人領域的 ChatGPT 時刻尚未到來。她認為,當前行業仍在搭建機械手、執行器等基礎構件,通用與專用機器人並行推進,只有這些模組成熟組合後才可能迎來突破。她同時強調人才是關鍵壁壘,大量人才正流向 Anthropic、輝達等大公司。
10 月 12 日,2026 工業具身智慧產業創新高峰論壇舉行,靈巧智慧聯合松應科技發布物理 AI 工業具身作業系統與靈巧操作模組,並推出 21 自由度靈巧手 021B。該系統以松應科技 ORCA OS 為底座,稱其為國內首個支援人形、四足、無人機等多形態機器人協同訓練的物理 AI 作業系統,已適配輝達、AMD、Intel 及摩爾線程等國產 GPU。靈巧智慧同時聯合上海人工智慧研究院、上海電氣、京東零售發布全球首家工業具身智慧 6S 店,由合資公司靈機智聯運營。
Frontier Red Team 的實驗顯示,小型 AI 模型可能再過數月就能在智慧烤箱、雜牌 Android TV 盒子等商用 IoT 裝置上自我複製:這類複製體沒有集中的關停點、倍增時間為數天,還能自行摸清陌生硬體,測試中 9B 模型在 9 類硬體裡有 8 類成功跑起推理。研究把複製拆為尋找目標、獲得執行、建立推理、繼續傳播四步,30B 以下模型已能完成多數單步但端到端串聯仍會出錯,簡化評測中 GLM-5.2 及更強模型可端到端複製。
YC F26 的 Simantic 發布韌體模擬層,讓 AI agent 與工程師不必拿到硬體就能測試和驗證韌體。它提供可單次 API 呼叫即執行的虛擬開發板、以模擬結果為證據的韌體 AI 程式碼審查,以及每次提交都針對模擬微控制器驗證韌體的 CI/CD 流水線。團隊來自 Neuralink 與 Tesla,早期 MVP 封裝 Renode,因受制於其開發速度、Dotnet 效能與功能臃腫而改為自研引擎。
AI 工具正在加速老遊戲的反編譯與重編譯移植,也讓專注遊戲儲存的社群遭到衝擊。過去一個月,瀏覽器裡的《光環》、iPhone 上的《風之杖》、混合現實中的《任天堂明星大亂鬥》等非常規移植專案高頻走紅。愛好者用 decomps/recomps 逆向拆解遊戲,再為新平台重建;AI 提高了移植速度,卻撕裂了原本緊密的儲存社群。
舊金山初創公司 Industrial Next 在 TechCrunch Disrupt 2026 上宣布與 BMW 集團技術辦公室合作,評估其 AI 靈巧操作技術用於製造。該公司由兩位前特斯拉工程師於 2021 年創立,做的是基於自研基礎模型的機器人工作站,把視覺、任務上下文與運動控制打通,用高保真模擬訓練,產線換型從數週縮短到數分鐘,無需傳統程式設計。其工作站已在某款熱門手機的生產中使用,負責柔性排線穿線、聯結器扣合等此前難以自動化的工序;
Sam Altman 在 Cheeky Pint 訪談中表示,個人把全球有限的 DRAM 留在自己電腦裡、只使用 5% 的時間,從全球分配角度看相當糟糕,雲端最大化利用率才是解法。他提到 OpenAI 獲准買下全球 40% 的 DRAM 產量,而美光已宣布退出消費級記憶體生產。OpenAI 還在自研代號 Jalapeno 的 AI 晶片,稱該晶片由 AI 為 AI 設計。
德國聯邦政府與輝達簽署意向宣告,將聯合推進面向物理 AI 的前沿模型,並對接德國“工業 4.0 平台”。黃仁勳同時宣布投資 Agile Robots、Avelios Medical、Mirelo、Reflex Aerospace 四家德國初創,屬於其在歐洲近 100 億美元投入的一部分。西門子同日宣布與輝達合作推進自主工廠,全虛擬產線除錯可減少最多 85% 的工程工作量,基於智慧體的生產規劃最高可降本 20%。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
VentureBeat Intelligence 在 2026 年 7 至 9 月的三輪調研(385 名受訪者)顯示,79% 的企業表示其 GPU 至少一半時間完全閒置,這一比例三個月穩定在 77% 至 81%。但在這批企業中,70% 仍計劃未來 12 個月引入、擴充或更換 AI 計算平台;計劃採用新平台的受訪者中有 91% 拿不出經財務部門稽核的 ROI 資料。新採購意向中 90% 投向公有云與模型 API,僅 8% 考慮擴建本地私有叢集。
Anthropic 警告稱,最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力,進而催生無需人類互動即可傳播的計算機蠕蟲,感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示,真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰,因此結論有所保留,但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出,這類複製器沒有可集中關停的節點,難以清除,倍增時間以天計,但與普通惡意軟體不同,它能自行識別陌生裝置。
Nothing CEO Carl Pei 在 X 上表示,公司首款「AI 原生」產品將於 12 月出貨,是一款生產力工具:沒有新螢幕,也無法做成一個 app。他稱全行業都在尋找 AI 的「iPhone 時刻」——掛墜、別針、眼鏡、伴侶裝置,但自己對此看法不同,似乎在淡化 AI 可穿戴方向。Nothing 此前曾表示計劃推出 AI 智慧眼鏡和整合 AI 的耳機,具體發售日期與產品形態仍未公布。
在輝達領導機器人平台產品營銷七年的 Amulya Vishwanath,如今轉而投資 Physical AI,並認為機器人行業仍處於“樂高時代”、尚未迎來爆發。這一判斷與“通用基礎模型將推動機器人突破”的流行看法相反:執行器、機械手、軟體與安全標準等基礎構件仍在重建,而 Physical AI 的內涵也不止於機器人。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
NVIDIA Vera CPU 被 Nebius、Nscale、Verda 等歐洲 AI 雲服務商採用,用於搭建面向 agent 的基礎設施。Vera 承擔 agent 檢索資訊、執行程式碼與執行工具時的 CPU 計算,官方稱在同時執行數千個任務時仍能保持回應速度。Dell、HPE、Lenovo、Supermicro、Bull 將推出 Vera 系統;ClickHouse、SAP、Elastic 等稱早期測試中分析與 ETL 負載表現良好;
輝達在 GTC Berlin 發布 DSX POD 參考設計:由合作伙伴在模組化集裝箱內整合並驗證完整的 Vera Rubin AI 工廠,站點水電就緒後現場部署可從六個月縮短到 14 天。Vera Rubin 已全面量產,DSX 平台稱冷卻用水最多減少 100%,同等 AI 產出省電 30%。
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上,並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間,最初嘗試刷入 Android 系統,因記憶體只有 48MB 而失敗,隨後花幾天時間逆向工程,最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊,目前 15 分、3 條評論,作者未說明所用的是哪個 AI 模型,也沒列出具體自動化了哪些操作。