搜尋

位元組 Seed 發現 DeepSeek-V4 準確率隨輸入位置週期性波動

位元組 Seed 團隊發現，DeepSeek-V4 系列在 128K 長上下文檢索中的準確率會隨目標資訊的位置以 4 個 Token 為週期起伏，同一條資訊換個位置最多相差 40.2 個百分點，V4-Pro-Base 也有 34.8 個百分點。原因指向其為省記憶體採用的分塊 KV Cache 壓縮：資訊在壓縮視窗內所處相位不同，檢索能力就出現系統性差異，團隊稱之為相位敏感性，並用基於 Qwen3-0.6B 自訓的多種分塊壓縮模型復現了同樣的週期。