验证验证集

本文讨论了一种验证验证集的方法，特别是在处理小样本量时。核心思想是多次重新采样不同的保留选择，以创建直方图，从而允许用户评估其选择的验证分割的质量和代表性。这种方法旨在解决验证集是否有效地标记过度拟合，或者是否过于完美，可能导致误导性结果的问题。提供的GitHub链接提供了一个使用MNIST的玩具示例，表明该原则在经过严格审查后具有更广泛的应用潜力。这对于提高模型评估的可靠性非常有价值，尤其是在数据稀缺的情况下。