GLUE：勾配フリーのエキスパート統合

この論文は、新しいターゲットドメインのために、複数の事前学習された専門モデルを組み合わせるという課題に取り組んでいます。GLUEという新しい手法を提案し、フルバックプロパゲーションの計算コストを回避するために、勾配フリーの最適化技術（SPSA）を使用して、専門モデルの混合係数を学習します。これは、広範なトレーニングを必要とせずに、新しいドメインへの効率的な適応を可能にするため重要です。結果は、ベースライン手法と比較して改善された精度を示しており、このアプローチの実用的な価値を強調しています。

• •GLUEは、専門モデルを統合するための勾配フリーな方法を提供します。
• •混合係数の効率的な学習にSPSAを使用します。
• •GLUEは、テスト精度においてベースライン手法を上回ります。
• •フルバックプロパゲーションに代わる計算効率の良い方法を提供します。