1. L1和L2的定义 L1正则化,又叫Lasso Regression 如下图所示,L1是向量各元素的绝对值之和
L2正则化,又叫Ridge Regression 如下图所示,L2是向量各元素的平方和
2. L1和L2的异同点 相同点:都用于避免过拟合 不同点:L1可以让一部分特征的系数缩小到0,从而间接实现特征选择。所以L1适用于特征之间有关联的情况。 L2让所有特征的系数都缩小,但是不会减为0,它会使优化求解稳定快速。所以L2适用于特征之间没有关联的情况
3.L1和L2的结合 L1和L2的优点可以结合起来,这就是Elastic Net
|