Ein Gerücht über GPT-5.4 besagt, dass das Modell den Zustand beibehalten kann. Jeff Dean erwähnte dies in seinem Auftritt im @latentspacepod, also ist es offensichtlich etwas, worüber die KI-Labore nachdenken. Ich würde wetten, dass es eine gute Chance gibt, dass sie entdeckt haben, wie man Zustandsraum-Modelle effektiv mit Transformern in großem Maßstab integriert. ZSMs sind so konzipiert, dass sie einen verborgenen Zustand mit jedem Berechnungsschritt vorwärts tragen und linear skalieren, anstatt quadratisch wie Transformer. Das unterstützt auch das Gerücht, dass GPT-5.4 ein Kontextfenster von 2 Millionen Token haben wird. Ein persistenter Zustand würde im Wesentlichen bedeuten, dass KI-Modelle über Nacht von Guy Pearces Charakter in "Memento" zu Dustin Hoffmans Charakter in "Rain Man" werden. Es würde KI-Modellen wahres Langzeitgedächtnis geben. Es wäre ein massiver Durchbruch für die Realität.