用 TypeScript 從零實現 ChatGPT 式模型
一位開發者用 TypeScript 從第一性原理搭建 ChatGPT 式語言模型,希望把 transformer 的每個細節都講清楚、不留「魔法」。專案目前已完成資料載入器、嵌入和注意力機制等章節,作者選擇 TypeScript 而非 Python,是因為換一種語言重寫能迫使自己理解實現的細微之處,並在 HN 上徵集反饋。
以 TypeScript 而非 Python 復現 transformer 的少見實踐,章節式講解資料載入、嵌入與注意力,適合想從底層搞懂大模型實現細節的開發者。
原標題:Show HN: Building an LLM from Scratch in TypeScript
閱讀原文
| 評分 | 55 / 50(平均 52,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
LLM 把 TypeScript 編譯器移植成 Rust 版 tsc-rs
LLM 從零將 TypeScript 編譯器移植為 Rust 版 tsc-rs 併發布,Claude Opus 5.5 用兩週、約 24,047 美元 API 費用完成;此前用 OpenAI 的 GPT-5.6 Sol 與 GPT 6 Astra 花掉逾 40 萬美元仍未突破約 84% 相容度。
ttok 1.0 發布:預設分詞器改用 GPT-5/GPT-6
ttok 1.0 發布,預設分詞器從 GPT-4 改為 GPT-5/GPT-6。OpenAI 尚未官方確認 GPT-6 沿用 GPT-5 系列的分詞器,但 William Liu 的實驗顯示,5.5、5.6 Sol/Terra/Luna 與 6 Astra/Sol/Luna 這七個 GPT 模型在 31 個樣本上 token 數完全一致,均為 44,794,GPT-6 在這批語料上沒有增加輸入 token。
Oxlint 外掛 ai-deslop 發布,攔截 AI 生成的 TypeScript 程式碼模式
npm 上出現新 Oxlint 外掛 ai-deslop,用一組規則拒絕 AI 生成的低證據、低訊號 TypeScript 程式碼模式。規則含 no-chained-type-assertions、no-unknown-parameters、no-module-mocking、no-poor-substring-tests 等約 20 條 recommended 項,以及 no-duplicate-consts、no-renamed-imports、canonical-clas…
GPT-6 Astra 在 ChatGPT 聊天側消失,Pro 計劃 Work 中仍可見
多名使用者報告 GPT-6 Astra 在 ChatGPT 的 Chat 介面突然無法選擇,Windows 應用和網頁版均如此,重啟與重新登入無效。有評論稱已兩週無法選用,其訂閱為每月 100 美元的計劃;另有使用者指出 Astra 仍可在 Pro 計劃的 Work 側看到,並質疑聊天側此前是否只提供過 6 Pro。
非文字模型 Jev 開發商融資 8.7 億美元,估值 75 億
TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資,由 Andreessen Horowitz 領投,紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布,基於 transformer 架構但不是大語言模型,不輸出文字而是生成機率,公司稱之為「校準決策」,定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM,並稱已有三分之一財富 500 強企業在使用;