AISpot
熱點事件 · 持續更新

Percepta 發布 Spotlight 架構:記憶無限增長且訪問成本不變

1 則報導1 個報導來源10/2 18:47 更新

先了解這件事

Percepta 發布新架構 Spotlight,用可寫記憶取代注意力,是首個在不增加訪問成本的前提下實現記憶無限增長的架構。每個 token 讀寫無界記憶,但模型學會索引單個記憶單元,因此每次只觸及少量單元;無論記憶如何增長,觸及單元數不變,稀疏度可任意調節。該架構把負責計算的情報模組與儲存知識、流程和工作狀態的記憶分離,記憶增長時情報模組大小與權重都不變。模型可自己決定逐 token 載入和覆蓋哪些記憶,記憶既能存事實也能存技能,因此不必重訓練就能獲得新能力。

目前只有一則報導,以上是該報導的摘要。

報導時間線

沿著報導,了解事件的不同側面;點標題看單篇報導的摘要與原文連結。

10月2日星期五 · 1 則

  1. r/LocalLLaMA top of the day

    Percepta 發布 Spotlight 架構:記憶無限增長且訪問成本不變

    Percepta 發布新架構 Spotlight,用可寫記憶取代注意力,是首個在不增加訪問成本的前提下實現記憶無限增長的架構。每個 token 讀寫無界記憶,但模型學會索引單個記憶單元,因此每次只觸及少量單元;無論記憶如何增長,觸及單元數不變,稀疏度可任意調節。該架構把負責計算的情報模組與儲存知識、流程和工作狀態的記憶分離,記憶增長時情報模組大小與權重都不變。模型可自己決定逐 token 載入和覆蓋哪些記憶,記憶既能存事實也能存技能,因此不必重訓練就能獲得新能力。

本事件熱度走勢

10/3 00:30最高 1.010/3 02:10

為什麼熱

過去 48 小時,有 1 個獨立來源報導,最近 6 小時新增 0 個。熱度 0.8,熱門榜第 25 名。

熱度以 48 小時內的獨立來源計,同一來源只算一次,每 24 小時權重減半。

事件紀錄

最早報導
10/2 18:47
最近更新
10/2 18:47

同一事件的報導集中在這裡,新的進展會繼續補充。