分析
この記事では、特にサンプルサイズが小さい場合に、検証セットを検証する方法について説明しています。中心となるアイデアは、異なるホールドアウトの選択肢を複数回リサンプリングしてヒストグラムを作成し、選択した検証分割の品質と代表性を評価できるようにすることです。このアプローチは、検証セットが効果的に過学習を検出しているかどうか、または完璧すぎて誤解を招く結果につながる可能性があるかどうかという懸念に対処することを目的としています。提供されているGitHubリンクは、MNISTを使用したおもちゃの例を提供しており、厳密なレビューを保留して、原則のより広範なアプリケーションの可能性を示唆しています。これは、特にデータが不足しているシナリオで、モデル評価の信頼性を向上させるための貴重な調査です。
重要ポイント
参照
“この探索的な、p値に近いアプローチで、データユニバース（トレーニングとホールドアウト分割）を検証し、異なるホールドアウトの選択肢を何度もリサンプリングして、分割がどこにあるかを示すヒストグラムを作成します。”