GPT-5.4の噂では、モデルは状態を永続化できるというものでした。 ジェフ・ディーンは@latentspacepod登場時にこれを言及しており、AIラボが検討していることは明らかです。 彼らはトランスフォーマーと状態空間モデルを効果的に統合する方法を発見している可能性が高いと私は賭けています。 SSMは計算の各ステップごとに隠れた状態を前進させるよう設計されており、トランスフォーマーのように二次的にスケールするのではなく線形的にスケールします。 また、GPT-5.4が200万トークンのコンテキストウィンドウを持つという噂も裏付けています。 持続状態とは、AIモデルが一夜にして「メメント」のガイ・ピアースのキャラクターから「レインマン」のダスティン・ホフマンのキャラクターに変わることを意味します。 AIモデルに真の長期記憶を与えることになる。 それは本当に大きな突破口になるでしょう。