Слухи о GPT-5.4 гласят, что модель может сохранять состояние. Джефф Дин упомянул об этом в своем выступлении на @latentspacepod, так что это явно то, о чем думают в AI Labs. Я бы поставил на то, что у них есть хорошие шансы обнаружить, как эффективно интегрировать модели состояния с трансформерами в больших масштабах. Модели состояния (SSMs) предназначены для того, чтобы переносить скрытое состояние вперед с каждым вычислительным шагом и масштабироваться линейно, а не квадратично, как трансформеры. Это также подтверждает слух о том, что у GPT-5.4 будет контекстное окно на 2 миллиона токенов. Постоянное состояние в основном означало бы, что AI модели переходят от персонажа Гая Пирса в "Помни" к персонажу Дастина Хоффмана в "Человек дождя" за одну ночь. Это дало бы AI моделям истинную долгосрочную память. Это было бы огромным прорывом для реальности.

GPT-5.4 скоро выйдет. Подсказки уже доступны для тех, кто умеет видеть. Грег Брокман сказал Рику Рубину: "Физик использовал нашу еще не выпущенную модель, чтобы автономно опровергнуть гипотезу в квантовой физике." Физик сказал, что это был первый раз, когда он почувствовал, что модель может "думать".

Эм, ребята... AI может быть немного опережает график.