LLMトレーニングのメモリを劇的に削減：700億パラメータモデルをSteam Deckで実行可能に！

本研究は、大規模言語モデル（LLM）のトレーニングに必要なメモリフットプリントを劇的に削減する、Spectral Compact Training（SCT）という画期的な手法を紹介しています。Steam Deckのようなデバイスで700億パラメータのモデルをトレーニングできることは、SCTがLLM開発を民主化し、研究者や開発者にとってよりアクセスしやすくする大きな可能性を示しています。