MoRAgent: ロール混合によるパラメータ効率的なエージェント調整

この論文は、大規模言語モデル（LLM）を用いたエージェントタスクにおけるパラメータ効率的なファインチューニング（PEFT）の課題に取り組んでいます。エージェントの能力を、それぞれが専門のLow-Rank Adaptation（LoRA）グループによって処理される、reasoner、executor、summarizerの役割に分解する、新しいMixture-of-Roles（MoR）フレームワークを導入しています。このアプローチは、パフォーマンスを維持しながら、ファインチューニングの計算コストを削減することを目的としています。この論文の重要性は、エージェントアーキテクチャに特化したPEFT技術の探求にあり、これは比較的未開拓の分野です。マルチロールデータ生成パイプラインと、さまざまなLLMおよびベンチマークでの実験的検証は、その貢献をさらに強化しています。