AISpot

用 TypeScript 從零實現 ChatGPT 式模型

Hacker News front page教學開源研究

一位開發者用 TypeScript 從第一性原理搭建 ChatGPT 式語言模型,希望把 transformer 的每個細節都講清楚、不留「魔法」。專案目前已完成資料載入器、嵌入和注意力機制等章節,作者選擇 TypeScript 而非 Python,是因為換一種語言重寫能迫使自己理解實現的細微之處,並在 HN 上徵集反饋。

以 TypeScript 而非 Python 復現 transformer 的少見實踐,章節式講解資料載入、嵌入與注意力,適合想從底層搞懂大模型實現細節的開發者。

原標題:Show HN: Building an LLM from Scratch in TypeScript
閱讀原文

評分55 / 50(平均 52,門檻 76)
狀態未入選

相關報導

Hacker News front pageAI 評分46

Oxlint 外掛 ai-deslop 發布,攔截 AI 生成的 TypeScript 程式碼模式

npm 上出現新 Oxlint 外掛 ai-deslop,用一組規則拒絕 AI 生成的低證據、低訊號 TypeScript 程式碼模式。規則含 no-chained-type-assertions、no-unknown-parameters、no-module-mocking、no-poor-substring-tests 等約 20 條 recommended 項,以及 no-duplicate-consts、no-renamed-imports、canonical-clas…

r/OpenAI top of the dayAI 評分17

GPT-6 Astra 在 ChatGPT 聊天側消失,Pro 計劃 Work 中仍可見

多名使用者報告 GPT-6 Astra 在 ChatGPT 的 Chat 介面突然無法選擇,Windows 應用和網頁版均如此,重啟與重新登入無效。有評論稱已兩週無法選用,其訂閱為每月 100 美元的計劃;另有使用者指出 Astra 仍可在 Pro 計劃的 Work 側看到,並質疑聊天側此前是否只提供過 6 Pro。

TechCrunch AIAI 評分68

非文字模型 Jev 開發商融資 8.7 億美元,估值 75 億

TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資,由 Andreessen Horowitz 領投,紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布,基於 transformer 架構但不是大語言模型,不輸出文字而是生成機率,公司稱之為「校準決策」,定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM,並稱已有三分之一財富 500 強企業在使用;