Ett rykte om GPT-5.4 var att modellen kan fortsätta i tillstånd. Jeff Dean nämnde detta i sitt @latentspacepod framträdande, så det är uppenbarligen något som AI-laboratorierna funderar på. Jag skulle gissa att det finns goda chanser att de har upptäckt hur man effektivt integrerar State-Space Models med Transformers i stor skala. SSM:er är designade för att föra ett dolt tillstånd framåt vid varje beräkningssteg och skalar linjärt snarare än kvadratisk som Transformers. Det stöder också ryktet att GPT-5.4 kommer att ha ett kontextfönster på 2 miljoner tokens. Persistent state skulle i princip innebära att AI-modeller går från att vara Guy Pearces karaktär i "Memento" till Dustin Hoffmans karaktär i "Rain Man" över en natt. Det skulle ge AI-modeller verkligt långtidsminne. Det skulle verkligen vara ett enormt genombrott.