LIME：エッジデバイスにおける協調LLM推論

この論文は、リソースが限られたエッジデバイスで大規模言語モデル（LLM）を実行するという課題に取り組んでいます。LIMEという協調システムを提案し、パイプライン並列処理とモデルオフローディングを使用して、ロスレス推論を実現します。つまり、精度を維持しながら速度を向上させます。エッジデバイスに焦点を当て、きめ細かいスケジューリングやメモリ適応などの技術を使用している点が重要な貢献です。Llama3.3-70B-Instructモデルを用いた、異種Nvidia Jetsonデバイスでの実験検証は重要であり、既存の方法よりも大幅な高速化を示しています。

• •LIMEは、メモリ制約のあるエッジデバイスでのロスレスLLM推論を可能にします。
• •インターリーブパイプライン並列処理とモデルオフローディングを使用します。
• •きめ細かいスケジューリングとメモリ適応が重要なコンポーネントです。
• •精度を損なうことなく、既存の方法よりも大幅な高速化を実現します。