X @karpathy10/2 07:35AI 評分53
Karpathy 用 16200 次座標提問測 LLM 地理能力
Karpathy 提出一個簡單評測:只給 LLM 一個經緯度文字座標,問它“Land or Water?”,重複 16200 次後把結果畫成影像。他表示模型能答對,原因是訓練時壓縮了網際網路資料。該評測無需額外工具,可直接用 API 批次跑。
找到 3 筆
Karpathy 提出一個簡單評測:只給 LLM 一個經緯度文字座標,問它“Land or Water?”,重複 16200 次後把結果畫成影像。他表示模型能答對,原因是訓練時壓縮了網際網路資料。該評測無需額外工具,可直接用 API 批次跑。
Karpathy 給 Opus 5 輸入《魔戒》第一段、100 萬 token 預算(約 10 美元),讓它用 three.js 渲染這個故事。Opus 5 執行約 2 小時,寫出 5500 行程式碼,程式化生成了粗糙但可玩的 3D 場景。他指出這類任務沒人願意手工做,但 LLM 有無限耐心,成本近乎免費;同時也暴露 LLM 無法原生高效感知影片或玩遊戲,只能緩慢截圖自查,導致不少瑕疵。
Karpathy 把指環王電影的原始碼上傳到 karpathy.ai/lotr-movie,可在瀏覽器直接遊玩、fork。這條推文同時轉發了 Simon Willison 關於「鵜鶘騎腳踏車」測試的後續文章,並調侃 GTA Hobbiton 會比 GTA VI 先發布。