Một tin đồn về GPT-5.4 là mô hình này có thể duy trì trạng thái. Jeff Dean đã đề cập điều này trong lần xuất hiện của ông trên @latentspacepod, vì vậy rõ ràng đây là điều mà các phòng thí nghiệm AI đang suy nghĩ. Tôi cá rằng có khả năng tốt là họ đã phát hiện ra cách tích hợp hiệu quả các Mô Hình Không Gian Trạng Thái với Transformers ở quy mô lớn. SSMs được thiết kế để mang một trạng thái ẩn tiến về phía trước với mỗi bước tính toán, và mở rộng theo cách tuyến tính thay vì theo cách bậc hai như Transformers. Điều này cũng củng cố tin đồn rằng GPT-5.4 sẽ có một cửa sổ ngữ cảnh 2 triệu token. Trạng thái liên tục sẽ có nghĩa là các mô hình AI chuyển từ việc trở thành nhân vật của Guy Pearce trong "Memento" thành nhân vật của Dustin Hoffman trong "Rain Man" chỉ sau một đêm. Điều này sẽ mang lại cho các mô hình AI trí nhớ dài hạn thực sự. Đó sẽ là một bước đột phá lớn cho thực tế.