Chúng tôi đang xây dựng một chip LLM cung cấp thông lượng cao hơn nhiều so với bất kỳ chip nào khác trong khi cũng đạt được độ trễ thấp nhất. Chúng tôi gọi nó là MatX One. Chip MatX One dựa trên một mảng systolic có thể chia nhỏ, có hiệu suất năng lượng và diện tích mà các mảng systolic lớn nổi tiếng, đồng thời cũng đạt được mức sử dụng cao trên các ma trận nhỏ hơn với hình dạng linh hoạt. Chip kết hợp độ trễ thấp của các thiết kế SRAM-first với hỗ trợ ngữ cảnh dài của HBM. Những yếu tố này, cộng với một cách tiếp cận mới về số học, mang lại thông lượng cao hơn cho LLM so với bất kỳ hệ thống nào đã được công bố, trong khi đồng thời giữ nguyên độ trễ của các thiết kế SRAM-first. Thông lượng cao hơn và độ trễ thấp hơn mang đến cho bạn các mô hình thông minh và nhanh hơn cho đồng tiền đăng ký của bạn. Chúng tôi đã huy động được 500 triệu USD trong vòng Series B để hoàn tất phát triển và nhanh chóng mở rộng sản xuất, với việc tapeout trong chưa đầy một năm. Vòng này được dẫn dắt bởi Jane Street, một trong những công ty Wall Street am hiểu công nghệ nhất, và Situational Awareness LP, người sáng lập @leopoldasch đã viết bản ghi nhớ chính thức về AGI. Các nhà đầu tư tham gia bao gồm @sparkcapital, quỹ của @danielgross và @natfriedman, @patrickc và @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp, và những người khác. Chúng tôi cũng chào đón các nhà đầu tư từ toàn bộ chuỗi cung ứng, bao gồm Marvell và Alchip. @MikeGunter_ và tôi đã bắt đầu MatX vì chúng tôi cảm thấy rằng chip tốt nhất cho LLM nên được thiết kế từ các nguyên tắc cơ bản với sự hiểu biết sâu sắc về những gì LLM cần và cách chúng sẽ phát triển. Chúng tôi sẵn sàng từ bỏ hiệu suất của các mô hình nhỏ, khối lượng công việc thấp và thậm chí là sự dễ dàng trong lập trình để cung cấp một chip như vậy. Chúng tôi hiện là một đội ngũ 100 người với những người suy nghĩ về mọi thứ từ lịch trình tỷ lệ học, đến Lập lịch Modulo Swing, đến các bit bảo vệ/điều tròn/bít dính, đến các kết nối mù—tất cả trong cùng một tòa nhà. Nếu bạn muốn giúp chúng tôi kiến trúc, thiết kế và triển khai nhiều thế hệ chip với số lượng lớn, hãy xem xét tham gia cùng chúng tôi.