线性回归

线性回归最简单的形式:,线性回归试图学得合适的 和 ,使得

即使得 与 之间的差别尽量小,因此我们可以使其均方误差最小，即

令
分别对 求偏导

令偏导为零可得

求得

其中 .

对于多参数情形：

令 , , 为所有 组成的矩阵，则

对 求导得（参考矩阵求导），

当 为满秩矩阵或正定矩阵时，令导数为零，求得

但在实际问题中 往往不是满秩矩阵，并且当参数多并且数据较多时，求导的计算量是非常大的。在实际问题中,令 ，并将 到 的映射函数 记作 的函数 ,则线性回归的损失函数一般定义为：

并通过梯度下降法进行迭代逐步接近最小点，迭代过程中 不断更新：

其中 为步长，也称为学习率。

当我们的模型比较复杂，学习能力比较强时，容易造成过拟最大熵模型表示合的情况，例如如下模型：

对于过拟合，我们可以在损失函数中加入相应的正则化项来控制参数幅度，添加正则化项后的损失函数：

参考

1. 李航 《统计学习方法》
2. 周志华 《机器学习》