LocalLLaMA 網友曬本地跑模型硬體方案
Reddit 的 r/LocalLLaMA 版塊一則帖子下,使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢,可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上;也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
依意思最接近的 15 筆
Reddit 的 r/LocalLLaMA 版塊一則帖子下,使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢,可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上;也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
TechCrunch Disrupt 2026 將於 10 月 13 至 15 日在舊金山舉行,四場討論聚焦 AI 創業公司的模型選型:開放權重還是前沿 API。
有人在 GitHub 上對本地執行的大語言模型進行「拷問」和「疼痛」實驗,引發 X 上關於 AI 倫理的激烈爭論,部分有效利他主義者和相信 LLM 有感知的人要求 GitHub 刪除該專案。爭論源於近期多篇關於 AI 意識和「模型福利」的病毒式論文與博文,Anthropic 也曾在部落格和「Claude 憲法」中提及模型福利。文章認為 LLM 並不具備意識,其基於人類文字訓練的技術沒有通向意識的合理路徑。
OpenAI 在 DevDay 上發布個人助理產品 Dots、新模型 GPT-6.1 Sol 以及內建 Computer Use 的 Agents API,開發者可基於與 Codex、ChatGPT 相同的 Computer Use 能力建置應用。GPT-6.1 Sol 的 Computer Use 成本約為 Astra 的七分之一。播客還討論了非同步工具呼叫、UltraFast 推理、Decisions API、提示快取與上下文壓縮等新開發者棧。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
Meta 開源了讓使用者自製 Muse AI 硬體裝置的程式碼,Muse 是其新的 AI agent。官方建議的玩法包括把 Muse 裝到彩色 E Ink 屏上顯示提醒、裝到 HDMI 棒上投到大屏,或裝到小觸控式螢幕裝置上做成類似 DIY Muse Charm 的形態。使用者可用現成 ESP32 板或 Raspberry Pi 配合官方 SDK,連線顯示屏、按鈕、感測器、執行器等外設。
輝達與微軟在舊金山 Windows AI 活動上宣布,為 Windows PC 共同設計可常駐執行 AI agent 的軟硬體。RTX Spark 筆記本當日開啟預售、10 月 16 日發售,緊湊桌上型電腦 11 月上市,最高 128GB 統一記憶體與 1 petaFLOP FP4 算力,可在本地不限量執行 125B 的 Qwen 3.8 Flash Next 等模型。系統級容器 MXC 正式可用,讓 agent 在 Windows 中安全後臺常駐;
在 Capcom Open Conference RE: 2026 上,程式設計師 Satoshi Ishida 以「REX 專案的前景與未來」為題演講,稱制作《生化危機》級別遊戲時連簡單任務都極其耗時,解決方案是把 AI 技術成功整合進開發流程。他表示為「與 AI 共同創造遊戲的未來」做準備。Capcom 此前曾稱不會使用 AI。
Airbnb CTO Ahmad Al-Dahle 披露,公司目前 60% 的程式碼由 AI 生成,功能交付量同比增加近 80%,工程師人均 PR 吞吐量提升約 1.6 倍;約一半客服工單已完全由 AI 處理,與 Q2 財報中近 45% 的數字一致。內部上下文圖譜 Everest 幫助雜貨配送服務在 8 至 9 個月內上線,機場接送僅用約 6 周。Airbnb 採用多模型策略,至少部署 10 個定製模型,主要在開源模型上做後訓練和強化學習。
Fadell 在 MIT Future Fest 上表示,Rabbit R1、Humane Ai Pin 和 Limitless 掛墜這批第一代 AI 硬體失敗,是因為沒有解決任何真實需求,只是對極客有趣的技術。他指出全球不到 0.01% 的人用過人類助理,多數消費者並不知道助理是什麼,建立信任需要數年。
OpenAI CEO Sam Altman 在 2026 年 10 月 1 日發帖表示,使用者應當能夠在任何需要的地方使用自己的 AI 訂閱。該表態未說明具體產品、實施方式或時間表,也未提及是否涉及跨平台或第三方應用。
愛爾蘭一所公立繼續教育學院的教師發帖,稱已獲得資金建成一個小型 AI 實驗室,硬體配置尚可,目標是讓學生學到使用 ChatGPT 之外的實用技能,因此向社群徵集教學方向建議。帖子未透露具體硬體型號、課程安排或學生人數。
TechCrunch Disrupt 2026 將於 10 月 13 至 15 日在舊金山 Moscone West 舉行,預計有 1 萬多名創始人、投資人、運營者與科技領袖參加。官方公布了全部互動圓桌議程,分佈在兩個專門的圓桌空間,主題包括物理 AI 的資料挑戰、AI 暴露企業軟體與 SaaS 的碎片化、AI 輔助的 IPO 財務準備、後訓練專用資料、量子計算投資、醫療生成式 AI 以及 agentic 商務等。目前註冊通行證可省最多 100 美元,第二張半價。
State of Devs 2026 調查於 2026 年 7 月 5 日至 9 月 5 日收集 5,463 名開發者的回答。近半數受訪者經歷職業不安全感與薪資不足,四分之一曾在職業生涯中被裁員,62% 曾出現職業倦怠,與去年持平。AI 使用普遍但態度兩極:49% 正面、42% 負面,近一半認為 AI 對自身心理狀態沒有正面影響。
Google Labs 推出 AI 遊戲創作平台 Playground,用文字提示就能生成可在瀏覽器執行的遊戲,無需程式設計能力。使用者可選擇問答、競速等型別,指定 2D 或 3D、單人或多人玩法,還能上傳圖片讓 AI 轉成符合美術風格的遊戲資產;成品支援手機與電腦遊玩、連結分享或發布到 Explore 畫廊,並可持續修改。