Nous construisons une puce LLM qui offre un débit beaucoup plus élevé que toute autre puce tout en atteignant la latence la plus basse. Nous l'appelons la MatX One. La puce MatX One est basée sur un tableau systolique divisible, qui possède l'efficacité énergétique et de surface pour laquelle les grands tableaux systoliques sont connus, tout en obtenant une haute utilisation sur des matrices plus petites avec des formes flexibles. La puce combine la faible latence des conceptions à SRAM en premier avec le support de long contexte de la HBM. Ces éléments, associés à une nouvelle approche des numériques, offrent un débit plus élevé sur les LLM que tout système annoncé, tout en égalant simultanément la latence des conceptions à SRAM en premier. Un débit plus élevé et une latence plus faible vous donnent des modèles plus intelligents et plus rapides pour votre dollar d'abonnement. Nous avons levé 500 millions de dollars lors d'une série B pour finaliser le développement et rapidement augmenter la fabrication, avec un tapeout dans moins d'un an. Le tour a été dirigé par Jane Street, l'une des entreprises de Wall Street les plus technophiles, et Situational Awareness LP, dont le fondateur @leopoldasch a écrit le mémo définitif sur l'AGI. Les participants incluent @sparkcapital, le fonds de @danielgross et @natfriedman, @patrickc et @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp, et d'autres. Nous accueillons également des investisseurs à travers la chaîne d'approvisionnement, y compris Marvell et Alchip. @MikeGunter_ et moi avons fondé MatX parce que nous estimions que la meilleure puce pour les LLM devait être conçue à partir de principes fondamentaux avec une compréhension approfondie de ce dont les LLM ont besoin et comment ils évolueront. Nous sommes prêts à renoncer à la performance des petits modèles, aux charges de travail à faible volume, et même à la facilité de programmation pour réaliser une telle puce. Nous sommes maintenant une équipe de 100 personnes avec des personnes qui réfléchissent à tout, des plannings de taux d'apprentissage, à la planification Swing Modulo, aux bits de garde/ronde/collants, aux connexions à emboîtement aveugle—tout dans le même bâtiment. Si vous souhaitez nous aider à architecturer, concevoir et déployer de nombreuses générations de puces en grande quantité, envisagez de nous rejoindre.