有關 GPT-5.4 的傳聞是該模型可以持續狀態。 Jeff Dean 在他的 @latentspacepod 出現中提到這一點，因此顯然這是 AI 實驗室正在考慮的事情。 我敢打賭他們很有可能已經發現如何有效地將狀態空間模型與變壓器大規模整合。 狀態空間模型旨在在每個計算步驟中攜帶隱藏狀態，並且以線性方式擴展，而不是像變壓器那樣以二次方式擴展。 這也支持了 GPT-5.4 將擁有 200 萬個標記上下文窗口的傳聞。 持續狀態基本上意味著 AI 模型將從成為 Guy Pearce 在《記憶碎片》中的角色，變成 Dustin Hoffman 在《雨人》中的角色，這一切都在一夜之間發生。 這將賦予 AI 模型真正的長期記憶。 這將是一次巨大的突破。