Um boato do GPT-5.4 dizia que o modelo pode persistir em estado. Jeff Dean mencionou isso em sua @latentspacepod aparição, então claramente é algo que os laboratórios de IA estão pensando. Aposto que há uma boa chance de terem descoberto como integrar efetivamente Modelos de Espaço de Estado com Transformers em escala. Os SSMs são projetados para carregar um estado oculto a cada passo computacional e escalam linearmente, em vez de quadráticamente, como os Transformers. Também reforça o boato de que o GPT-5.4 terá uma janela de contexto de 2 milhões de tokens. Estado persistente significaria essencialmente que os modelos de IA passam de personagem de Guy Pearce em "Memento" para o personagem de Dustin Hoffman em "Rain Man" da noite para o dia. Isso daria aos modelos de IA uma verdadeira memória de longo prazo. Seria um avanço enorme de verdade.