Estamos a construir um chip LLM que oferece um rendimento muito superior a qualquer outro chip, ao mesmo tempo que alcança a menor latência. Chamamos-lhe MatX One. O chip MatX One é baseado em uma matriz sistólica divisível, que possui a eficiência energética e de área pela qual as grandes matrizes sistólicas são conhecidas, enquanto também obtém alta utilização em matrizes menores com formas flexíveis. O chip combina a baixa latência dos designs com SRAM em primeiro lugar com o suporte de longo contexto do HBM. Esses elementos, além de uma nova abordagem sobre numéricos, proporcionam um rendimento mais alto em LLMs do que qualquer sistema anunciado, enquanto simultaneamente igualam a latência dos designs com SRAM em primeiro lugar. Maior rendimento e menor latência oferecem modelos mais inteligentes e rápidos pelo seu investimento em subscrição. Levantámos uma Série B de $500M para finalizar o desenvolvimento e escalar rapidamente a fabricação, com tapeout em menos de um ano. A rodada foi liderada pela Jane Street, uma das empresas mais conhecedoras de tecnologia de Wall Street, e pela Situational Awareness LP, cujo fundador @leopoldasch escreveu o memorando definitivo sobre AGI. Os participantes incluem @sparkcapital, @danielgross e o fundo de @natfriedman, @patrickc e @collision, @TriatomicCap, @HarpoonVentures, @karpathy, @dwarkesh_sp, e outros. Também estamos a acolher investidores de toda a cadeia de suprimentos, incluindo Marvell e Alchip. @MikeGunter_ e eu começámos a MatX porque sentimos que o melhor chip para LLMs deveria ser projetado a partir de princípios fundamentais, com uma compreensão profunda do que os LLMs precisam e como eles irão evoluir. Estamos dispostos a abrir mão do desempenho de modelos pequenos, cargas de trabalho de baixo volume e até mesmo da facilidade de programação para entregar um chip desse tipo. Agora somos uma equipe de 100 pessoas que pensam em tudo, desde cronogramas de taxa de aprendizado, até Swing Modulo Scheduling, até bits de guarda/round/sticky, até conexões blind-mated—tudo no mesmo edifício. Se você gostaria de nos ajudar a arquitetar, projetar e implantar muitas gerações de chips em grande volume, considere juntar-se a nós.