Слухи о GPT-5.4 гласят, что модель может сохранять состояние. Джефф Дин упомянул об этом в своем выступлении на @latentspacepod, так что это явно то, о чем думают в AI Labs. Я бы поставил на то, что у них есть хорошие шансы обнаружить, как эффективно интегрировать модели состояния с трансформерами в больших масштабах. Модели состояния (SSMs) предназначены для того, чтобы переносить скрытое состояние вперед с каждым вычислительным шагом и масштабироваться линейно, а не квадратично, как трансформеры. Это также подтверждает слух о том, что у GPT-5.4 будет контекстное окно на 2 миллиона токенов. Постоянное состояние в основном означало бы, что AI модели переходят от персонажа Гая Пирса в "Помни" к персонажу Дастина Хоффмана в "Человек дождя" за одну ночь. Это дало бы AI моделям истинную долгосрочную память. Это было бы огромным прорывом для реальности.