AIの汎化における時間的制約

本論文は、生物学的システムに触発された深層学習モデルへの時間的制約の導入が、汎化を改善できると主張しています。これらの制約は、不変の特徴を抽出し、ノイズを低減するためにネットワークのダイナミクスを形成する帰納的バイアスとして機能すると提案しています。研究は、汎化が最大化される「遷移」レジームを強調し、アーキテクチャ設計における時間的統合と適切な制約の重要性を強調しています。これは、従来の制約のない最適化のアプローチに異議を唱えています。