Stiamo costruendo un chip LLM che offre un throughput molto più elevato rispetto a qualsiasi altro chip, raggiungendo anche la latenza più bassa. Lo chiamiamo MatX One. Il chip MatX One è basato su un array sistolico splittabile, che ha l'efficienza energetica e di area per cui sono famosi i grandi array sistolici, ottenendo al contempo un'alta utilizzazione su matrici più piccole con forme flessibili. Il chip combina la bassa latenza dei design SRAM-first con il supporto a lungo contesto dell'HBM. Questi elementi, insieme a un approccio innovativo ai numeri, offrono un throughput più elevato sugli LLM rispetto a qualsiasi sistema annunciato, mantenendo al contempo la latenza dei design SRAM-first. Maggiore throughput e minore latenza ti offrono modelli più intelligenti e veloci per il tuo investimento in abbonamento. Abbiamo raccolto 500 milioni di dollari in un round di finanziamento di Serie B per completare lo sviluppo e scalare rapidamente la produzione, con tapeout in meno di un anno. Il round è stato guidato da Jane Street, una delle aziende più esperte in tecnologia di Wall Street, e Situational Awareness LP, il cui fondatore @leopoldasch ha scritto il memo definitivo sull'AGI. I partecipanti includono @sparkcapital, il fondo di @danielgross e @natfriedman, @patrickc e @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp e altri. Stiamo anche accogliendo investitori lungo la catena di approvvigionamento, tra cui Marvell e Alchip. @MikeGunter_ e io abbiamo fondato MatX perché riteniamo che il miglior chip per LLM dovrebbe essere progettato da principi fondamentali con una profonda comprensione di ciò di cui gli LLM hanno bisogno e di come si evolveranno. Siamo disposti a rinunciare alle prestazioni dei modelli piccoli, ai carichi di lavoro a basso volume e persino alla facilità di programmazione per realizzare un chip del genere. Siamo ora un team di 100 persone con persone che pensano a tutto, dai programmi di apprendimento, alla Swing Modulo Scheduling, ai bit di guardia/round/sticky, alle connessioni blind-mated, tutto nello stesso edificio. Se desideri aiutarci a progettare, progettare e distribuire molte generazioni di chip in grande volume, considera di unirti a noi.