ファミリーモデルのスケーリング則

この論文は、大規模言語モデル（LLM）の最適化に不可欠なスケーリング則の概念を「ファミリーモデル」に拡張しています。これらのモデルは、異種環境（エッジクラウド）向けに設計されており、早期終了とリレー方式の推論を利用して、単一のバックボーンから複数のサブモデルをデプロイします。この研究では、「Granularity（G）」をモデルサイズ（N）とトレーニングトークン（D）に加えて新しいスケーリング変数として導入し、デプロイの柔軟性が計算最適性にどのように影響するかを理解しようとしています。この研究の重要性は、「一度トレーニングして、多数をデプロイする」というパラダイムを検証する可能性にあり、これは多様なコンピューティング環境における効率的なリソース利用に不可欠です。

• •ファミリーモデルの新しいスケーリング変数としてGranularity（G）を導入。
• •モデルサイズ、トレーニングデータ、および粒度間の関係を捉えるための統一されたスケーリング則L（N、D、G）を提案。
• •「一度トレーニングして、多数をデプロイする」というパラダイムを経験的に検証。
• •計算最適性を損なうことなく、デプロイの柔軟性が実現可能であることを実証。