岭回归(Ridge Regression)和Lasso回归

1、岭回归(Ridge Regression)

标准线性回归(简单线性回归)中:

如果想用这个式子得到回归系数,就要保证(X^TX)是一个可逆矩阵。
下面的情景:如果特征的数据比样本点还要多,数据特征n,样本个数m,如果n>m,则计算(XTX)−1会出错。因为(X^TX)不是满秩矩阵(行数小于列数),所有不可逆。
为了解决这个问题,统计学家引入了岭回归的概念:

λ为岭系数, I为单位矩阵(对角线上全为1,其他元素为0)。单位矩阵为满秩矩阵,乘以λ仍然为满秩矩阵。

岭回归的代价函数:

附:
正则化的代价函数:L2正则化(权值的平方),

参数的平方求和乘以正则项系数λ
而Lasso回归对应的是L1正则化


其中
称为L2正则化项
在所有参数平方和前乘以了一个参数λ,把它叫正则化系数或者惩罚系数。这个惩罚系数是调节模型好坏的关键参数,我们通过两个极端的情况说明它是如何调节模型复杂度的。( 较大的λ值指定较强的正则化)

λ值为0:损失函数将与原来损失函数一样(即最小二乘估计形式),说明对参数权重θ没有任何惩罚。
λ为无穷大:在惩罚系数λ无穷大的情况下,为保证整个结构风险函数最小化,只能通过最小化所有权重系数θ达到目的了,即通过λ的惩罚降低了参数的权重值,而在降低参数权重值的同时我们就实现了降低模型复杂度的效果。
(1)由ℎ_θ(x)=θ_0+θ_1x_1+θ_2x_2+…+θ_nx_n,当θ_i很小的时候, x_i这个特征可以忽略不计。
(2)过拟合是由于模型过于复杂引起的。

岭回归最早是用来处理特征数多于样本数的情况,现在也用于在估计中加入偏差,从而得到更好的估计。同时也可以解决多重共线性问题,岭回归是一种有偏估计。
这里通过引入λ来限制了所有w之和,通过引入该惩罚项,能够减少不重要的参数,这个技术在统计学中也叫做缩减(shrinkage)。
岭回归的代价函数:

2.岭回归案例分析

Longley数据集
Longley数据集来自J.W.Longley(1967)发表在JASA上的一篇论文,是强共线性的宏观经济数据,包含GNP deflator(GNP平减指数)、GNP(国民生产总值)、Unemployed(失业率)、ArmedForces(武装力量)、Population(人口)、year(年份),Emlpoyed(就业率)。
LongLey数据集因存在严重的多重共线性问题,在早期经常用来检验各种算法或计算机

class sklearn.linear_model.RidgeCV (
alphas=(0.1, 1.0, 10.0),
fit_intercept=True,
normalize=False,
scoring=None,
cv=None,
gcv_mode=None,
store_cv_values=False
)
注:留一法就是每次只留下一个样本做测试集,其它样本做训练集,如果有k个样本,则需要训练k次,测试k次。
留一法计算最繁琐,但样本利用率最高。适合于小样本的情况


3.Lasso回归

LASSO是由1996年Robert Tibshirani首次提出,全称Least absolute shrinkage and selection operator。
通过构造一个一阶惩罚函数获得一个精炼的模型;通过最终确定一些指标(变量)的系数为零,解释力很强。(相比较于岭回归。岭回归估计系数等于0的机会微乎其微,造成筛选变量困难)
擅长处理具有多重共线性的数据,与岭回归一样是有偏估计。




来源:侬本多情。

物联沃分享整理
物联沃-IOTWORD物联网 » 岭回归(Ridge Regression)和Lasso回归

发表评论