Een gerucht over GPT-5.4 was dat het model de staat kan behouden. Jeff Dean noemde dit tijdens zijn optreden in de @latentspacepod, dus duidelijk iets waar de AI Labs over nadenken. Ik wed dat er een goede kans is dat ze hebben ontdekt hoe ze State-Space Models effectief kunnen integreren met Transformers op grote schaal. SSM's zijn ontworpen om een verborgen staat bij elke rekenstap vooruit te dragen, en schalen lineair in plaats van kwadratisch zoals Transformers. Het ondersteunt ook het gerucht dat GPT-5.4 een contextvenster van 2 miljoen tokens zal hebben. Een persistente staat zou in wezen betekenen dat AI-modellen van Guy Pearce's personage in "Memento" naar Dustin Hoffman's personage in "Rain Man" van de ene op de andere dag gaan. Het zou AI-modellen ware langetermijngeheugen geven. Het zou een enorme doorbraak zijn voor de werkelijkheid.