フェーズ勾配フローによるSSMのメモリ壁の突破

本論文は、Selective State Space Models (SSM) のバックプロパゲーションにおける重要なメモリボトルネックに対処し、大規模なゲノムデータやその他の長いシーケンスデータへの応用を制限している。提案されたPhase Gradient Flow (PGF) フレームワークは、中間計算グラフを保存する必要をなくし、状態空間多様体で直接正確な解析的導関数を計算することにより、解決策を提供する。これにより、大幅なメモリ節約（O(1)のメモリ複雑度）とスループットの向上が実現し、以前は実現不可能だった非常に長いシーケンスの分析が可能になる。スティッフODE体制下でもPGFの安定性は重要な利点である。

• •SSMのバックプロパゲーションにおけるメモリ制限を克服するために、Phase Gradient Flow (PGF) を提案。
• •PGFはO(1)のメモリ複雑度を達成し、VRAMの使用量を大幅に削減し、スループットを向上させる。
• •以前は実現不可能だった非常に長いシーケンス（例：染色体規模）の感度分析を可能にする。
• •一部の代替アプローチとは異なり、スティッフODE体制下でも安定性を維持する。