我今年的目标:让本地AI在你的手机、笔记本电脑、编码代理、Discord、浏览器甚至ESP上使用起来简单而愉快。 你将能够与Apple Watch对话,在通话中运行本地模型,让它为你编码等等。 Kimi在150GB显存上 GLM-5在150GB显存上 MiniMax-M2.5在48GB显存上 QuantForge让你可以在任何硬件上使用任何模型。选择目标大小和校准数据集,然后进行修剪和量化。 在我的MacBook上工作,我正在收获和量化一些小模型。 到年底,我将使我和任何人都能让任何模型适应任何硬件。目前它使用本地硬件,但我将与Prime Intellect集成。 将添加一些共享数据集的功能,并从许多独立组件中构建一个。