[D] NOMAアップデート：再現可能な自己成長XORベンチマーク（共有初期化、N=10）+オプティマイザ状態の「保持 vs リセット」アブレーション

この投稿では、コンパイラパスとして逆モード自動微分を実装することに焦点を当てたシステム言語およびコンパイラであるNOMAのアップデートについて詳しく説明しています。主な追加機能は、「自己成長XOR」問題の再現可能なベンチマークです。このベンチマークにより、さまざまな実装間の制御された比較が可能になり、パラメータの成長中にオプティマイザの状態を保持またはリセットすることの影響に焦点を当てています。共有初期ウェイトと固定成長トリガーの使用により、再現性が向上します。XORは単純な問題ですが、焦点は、実際の速度を達成するのではなく、成長イベントの方法論を検証し、オプティマイザの状態保持の効果を評価することにあります。

• •NOMAは、コンパイラパスとして逆モード自動微分を検討しているシステム言語およびコンパイラです。
• •自己成長XOR問題の再現可能なベンチマークがNOMAに追加されました。
• •ベンチマークは、パラメータの成長中にオプティマイザの状態を保持またはリセットすることの影響に焦点を当てています。