効率的なLLM推論のための動的ラージコンセプトモデル

この論文は、標準的なLLMの非効率性に対処するために、Dynamic Large Concept Models (DLCM)を提案しています。その核心は、トークンレベルの処理から圧縮された概念空間への計算の適応的なシフトであり、推論効率を向上させます。論文は、トレーニングとスケーリングを容易にするために、圧縮対応のスケーリング法則とデカップルされたμPパラメタリゼーションを導入しています。マッチしたFLOPsの下でのゼロショットベンチマーク全体で報告された+2.69％の平均改善は、提案されたアプローチの実用的な影響を強調しています。

• •LLMの効率を改善するために、Dynamic Large Concept Models (DLCM)を提案。
• •DLCMは階層的なアプローチを使用し、計算を圧縮された概念空間にシフト。
• •圧縮対応のスケーリング法則とデカップルされたμPパラメタリゼーションを導入。
• •マッチしたFLOPsでゼロショットベンチマークで+2.69％の平均改善を達成。