Un rumor sobre GPT-5.4 es que el modelo puede persistir el estado. Jeff Dean mencionó esto en su aparición en @latentspacepod, así que claramente es algo en lo que están pensando en los laboratorios de IA. Apostaría a que hay una buena posibilidad de que hayan descubierto cómo integrar efectivamente los Modelos de Espacio de Estado con Transformadores a gran escala. Los SSM están diseñados para llevar un estado oculto hacia adelante con cada paso computacional, y escalan linealmente en lugar de cuadráticamente como los Transformadores. También respalda el rumor de que GPT-5.4 tendrá una ventana de contexto de 2 millones de tokens. El estado persistente significaría esencialmente que los modelos de IA pasan de ser el personaje de Guy Pearce en "Memento" al personaje de Dustin Hoffman en "Rain Man" de la noche a la mañana. Le daría a los modelos de IA una verdadera memoria a largo plazo. Sería un gran avance para la realidad.