LLM训练内存革命：在Steam Deck上运行700亿参数模型！

这项研究介绍了Spectral Compact Training (SCT)，这是一种突破性的方法，它极大地减少了训练大型语言模型 (LLM)所需的内存占用。 在Steam Deck之类的设备上训练一个700亿参数的模型，证明了SCT使LLM开发民主化，使其对研究人员和开发人员更易于访问的巨大潜力。