分析
本文讨论了一种验证验证集的方法，特别是在处理小样本量时。核心思想是多次重新采样不同的保留选择，以创建直方图，从而允许用户评估其选择的验证分割的质量和代表性。这种方法旨在解决验证集是否有效地标记过度拟合，或者是否过于完美，可能导致误导性结果的问题。提供的GitHub链接提供了一个使用MNIST的玩具示例，表明该原则在经过严格审查后具有更广泛的应用潜力。这对于提高模型评估的可靠性非常有价值，尤其是在数据稀缺的情况下。
引用
“这种探索性的、接近p值的方法来验证数据宇宙（训练和保留分割）多次重新采样不同的保留选择，以创建一个直方图来显示您的分割位置。”