Vi bygger ett LLM-chip som levererar mycket högre genomströmning än något annat chip samtidigt som det uppnår lägst latens. Vi kallar den MatX One. MatX One-chipet bygger på en delbar systolisk array, som har den energi- och areaeffektivitet som stora systoliska arrayer är kända för, samtidigt som den utnyttjas högt på mindre matriser med flexibla former. Chippet kombinerar den låga latensen från SRAM-först-designer med långkontextstöd från HBM. Dessa element, plus en ny tolkning av numeriska system, levererar högre genomströmning på LLM:er än något annonserat system, samtidigt som de matchar latensen för SRAM-först-design. Högre genomströmning och lägre latens ger dig smartare och snabbare modeller för din prenumerationsbudget. Vi har samlat in en Series B på 500 miljoner dollar för att slutföra utvecklingen och snabbt skala produktionen, med utsläpp på under ett år. Rundan leddes av Jane Street, ett av de mest teknikkunniga Wall Street-företagen, och Situational Awareness LP, vars grundare @leopoldasch skrev det definitiva PM:et om AGI. Deltagarna inkluderar @sparkcapital, @danielgross and @natfriedman's fund, @patrickc and @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp och andra. Vi välkomnar också investerare över hela leveranskedjan, inklusive Marvell och Alchip. @MikeGunter_ och jag startade MatX eftersom vi ansåg att det bästa chippet för LLM:er bör designas från grundprinciper med en djup förståelse för vad LLM:er behöver och hur de kommer att utvecklas. Vi är villiga att ge upp småmodellprestanda, lågvolymsarbetsbelastningar och till och med enkel programmering för att leverera på ett sådant chip. Vi är nu ett 100-personers team med människor som tänker på allt från inlärningsfrekvensscheman, till Swing Modulo Scheduling, till guard/round/sticky bits, till blindmatade kontakter – allt i samma byggnad. Om du vill hjälpa oss att arkitektera, designa och distribuera många generationer av chip i stor volym, överväg att ansluta dig till oss.