[P] algebra-de-grok: モジュラー算術ネットワークにおける隠れた幾何学的相転移の可視化

このプロジェクトは、トレーニング中に現れる内部幾何学的構造を可視化することにより、ニューラルネットワークにおける「grokking」を理解するための新しいアプローチを提示します。このツールを使用すると、埋め込みの配置を追跡し、構造的コヒーレンスを監視することで、暗記から一般化への移行をリアルタイムで観察できます。主な革新は、損失メトリックにのみ依存するのではなく、幾何学的およびスペクトル分析を使用して、grokkingの開始を検出することにあります。ニューロンの活性化のフーリエスペクトルを可視化することにより、このツールは、ノイズの多い暗記からスパースで構造化された一般化へのシフトを明らかにします。これにより、トレーニング中のニューラルネットワークの内部ダイナミクスをより直感的かつ洞察的に理解できるようになり、トレーニング戦略とネットワークアーキテクチャの改善につながる可能性があります。ミニマリストな設計と明確な実装により、研究者や実務家が独自のワークフローに統合しやすくなっています。

• •grokking中の幾何学的相転移を可視化します。
• •検証精度よりも早くgrokkingを検出するためにスペクトルエントロピーを使用します。
• •ミニマリストで簡単に統合できるPyTorchツールを提供します。