Um rumor sobre o GPT-5.4 era que o modelo pode persistir estado. Jeff Dean mencionou isso em sua aparição no @latentspacepod, então claramente é algo que os laboratórios de IA estão considerando. Eu apostaria que há uma boa chance de que eles descobriram como integrar efetivamente Modelos de Espaço de Estado com Transformers em grande escala. Os SSMs são projetados para carregar um estado oculto adiante a cada passo computacional, e escalar linearmente em vez de quadraticamente como os Transformers. Isso também reforça o rumor de que o GPT-5.4 terá uma janela de contexto de 2 milhões de tokens. Estado persistente significaria essencialmente que os modelos de IA passariam de serem o personagem de Guy Pearce em "Memento" para o personagem de Dustin Hoffman em "Rain Man" da noite para o dia. Isso daria aos modelos de IA uma verdadeira memória de longo prazo. Seria um grande avanço para a realidade.