У GPT-5.4 ходили чутки, що модель може зберігати стан. Джефф Дін згадав про це у своїй @latentspacepod появі, тож очевидно, що це те, про що думають AI Labs. Я б поставив на те, що є велика ймовірність, що вони відкрили, як ефективно інтегрувати моделі простору стану з трансформерами у великому масштабі. SSM розроблені так, щоб переносити прихований стан на кожному обчислювальному кроці та масштабуватися лінійно, а не квадратично, як у трансформерів. Це також підтверджує чутки, що GPT-5.4 матиме контекстне вікно на 2 мільйони токенів. Стійкий стан фактично означає, що моделі ШІ миттєво перетворюються з персонажа Гая Пірса в «Memento» до персонажа Дастіна Гоффмана у «Rain Man». Це дасть моделям ШІ справжню довготривалу пам'ять. Це був би справжній величезний прорив.