首页 > 学院 > 开发设计 > 正文

【小结】机器学习中的正则化范数 -- L1范数与L2范数

2019-11-06 08:49:40
字体:
来源:转载
供稿:网友

来源:机器学习中的范数规则化之(一)L0、L1与L2范数

小结

L0范数和L1范数均可实现稀疏,但L0很难优化求解(NP难问题),而L1是L0的最优凸近似,且比L0更易优化求解

参数稀疏的好处

特征选择(feature selection)可解释性高(interPRetability)

L2范数实现了对模型空间的限制,可防止过拟合,提升模型的泛化能力

L2范数不但可防止过拟合,还可以让优化求解变得稳定和快速总结 L1-regularization能产生稀疏性,会趋向于产生少量的特征,而其他的特征都是零L2会选择更多的特征,这些特征都会接近于0Lasso在特征选择中非常有用,而Ridge仅是一种正则化而已

直观展示L1和L2的区别 这里写图片描述


发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表