logistic回归

对于二分类问题，假设,而线性回归预测值 是一个实值，对于这个问题，我们引入sigmoid函数: ，sigmoid函数可以将 值转化为0到1之间的一个值,sigmoid函数特性 。即预测函数

可推导出

若将 看做 为正样本的概率，则 即为 为负样本的概率， 称为几率（odds）,反映 作为正样本的相对可能性， 为对数几率(log odds,亦称logit).

对于样本 ，其为正样本和负样本的概率为：

上述两个式子可以合并成：

然后利用最大似然估计，写出似然函数：

取对数，得到对数似然函数：

在logit回归中：

向量化的损失函数(矩阵形式)

加入正则化项的损失函数：

加入正则化项的损失函数（向量化）：

最大似然是求 的最大值，而损失函数 在 乘以 变为求最小值。

依旧使用梯度下降求解最小值

则 的更新过程：

加入正则化项的更新过程：

向量化 的更新过程：

参考

1. 李航 《统计学习方法》
2. 周志华 《机器学习》
3. 机器学习系列(2)_从初等数学视角解读逻辑回归