OLS 对样本移除的鲁棒性:理论分析
分析
本文研究了普通最小二乘法 (OLS) 对训练样本移除的鲁棒性,这是构建值得信赖的机器学习模型的一个关键方面。它在特定条件下为 OLS 的鲁棒性提供了理论保证,从而深入了解了其局限性和潜在的脆弱性。本文的分析有助于理解 OLS 在何时可靠以及何时可能对数据扰动敏感,这对于实际应用非常重要。
要点
- •为 OLS 对样本移除的鲁棒性提供理论保证。
- •确定 OLS 鲁棒的条件 (k << sqrt(np)/log n)。
- •强调重尾响应和相关样本对 OLS 鲁棒性的影响。
- •建议使用 Huber 损失等鲁棒方法来减轻敏感性。
引用
“OLS 可以承受多达 $k \ll \sqrt{np}/\log n$ 个样本的移除,同时保持鲁棒性并实现与应用于完整数据集的 OLS 相同的错误率。”