MoE Pathfinder: 軌道駆動のエキスパートプルーニングによる最適化

この研究は、Mixture-of-Experts (MoE)モデルの新しいプルーニング技術を導入し、効率を向上させるために軌道駆動の方法を利用しています。 この論文の貢献は、大規模言語モデルのパフォーマンスを向上させ、計算コストを削減する可能性にあります。

• •MoEモデルの新しいプルーニング手法を提案。
• •最適化のために軌道駆動技術を利用。
• •パフォーマンスと効率の向上を目指す。