Un rumor sobre GPT-5.4 era que el modelo podía persistir en estado. Jeff Dean mencionó esto en su @latentspacepod aparición, así que claramente es algo en lo que los laboratorios de IA están pensando. Apostaría a que hay muchas posibilidades de que hayan descubierto cómo integrar eficazmente los Modelos de Espacio de Estados con Transformers a gran escala. Los SSM están diseñados para mantener un estado oculto hacia adelante con cada paso computacional, y escalar linealmente en lugar de cuadráticamente como los Transformers. También respalda el rumor de que GPT-5.4 tendrá una ventana de contexto de 2 millones de tokens. El estado persistente significaría esencialmente que los modelos de IA pasan de ser el personaje de Guy Pearce en "Memento" a ser el personaje de Dustin Hoffman en "Rain Man" de la noche a la mañana. Daría a los modelos de IA una verdadera memoria a largo plazo. Sería un avance enorme de verdad.