Plotka o GPT-5.4 mówi, że model może utrzymywać stan. Jeff Dean wspomniał o tym podczas swojego wystąpienia w @latentspacepod, więc wyraźnie jest to coś, nad czym myślą laboratoria AI. Zaryzykowałbym stwierdzenie, że istnieje duża szansa, że odkryli, jak skutecznie zintegrować modele przestrzeni stanów z transformatorami na dużą skalę. Modele przestrzeni stanów (SSM) są zaprojektowane tak, aby przenosić ukryty stan do przodu z każdym krokiem obliczeniowym i skalować się liniowo, a nie kwadratowo, jak transformatory. To również potwierdza plotkę, że GPT-5.4 będzie miał kontekst o długości 2 milionów tokenów. Utrzymujący się stan oznaczałby w zasadzie, że modele AI przechodzą z bycia postacią Guy'a Pearce'a w "Memento" do postaci Dustina Hoffmana w "Rain Man" z dnia na dzień. Dawałoby to modelom AI prawdziwą pamięć długoterminową. Byłoby to ogromne przełomowe osiągnięcie.