ニューラルタンジェントカーネルの背後にある数学

この記事は、過剰パラメータ化されたニューラルネットワークのトレーニング中の動作を理解するためのツールとして、ニューラルタンジェントカーネル（NTK）を紹介しています。トレーニングデータを完全に適合させながら、テストデータに対しても優れた汎化性能を発揮できるニューラルネットワークの能力を強調しています。これは、パラメータの数がデータポイントの数よりも多い場合でも当てはまります。この記事では、NTKの動機、定義、収束特性について深く掘り下げて解説し、特に無限幅のネットワークにおけるNTKに焦点を当てています。

• •NTKは、ニューラルネットワークのトレーニングダイナミクスを説明するために使用されるカーネルです。
• •過剰パラメータ化されたニューラルネットワークは、トレーニングデータを完全に適合させても、良好な汎化性能を発揮できます。
• •この記事では、NTKの収束特性、特に無限幅のネットワークについて探求します。