logistic回归

对于二分类问题，假设y ∈ {0, 1},而线性回归预测值 z = θ^Tx 是一个实值，对于这个问题，我们引入sigmoid函数: ，sigmoid函数可以将 z 值转化为0到1之间的一个值,sigmoid函数特性 y^′ = y(1 − y) 。即预测函数

可推导出

若将 y 看做 x 为正样本的概率，则 1 − y 即为 x 为负样本的概率， 称为几率（odds）,反映 x 作为正样本的相对可能性， 为对数几率(log odds,亦称logit).

对于样本 x ，其为正样本和负样本的概率为：

上述两个式子可以合并成：

P(y|x; θ) = (P(y = 1|x; θ))^y(P(y = 0|x; θ))^1 − y

然后利用最大似然估计，写出似然函数：

取对数，得到对数似然函数：

在logit回归中：

向量化的损失函数(矩阵形式)

加入正则化项的损失函数：

加入正则化项的损失函数（向量化）：

最大似然是求 l(θ) 的最大值，而损失函数 J(θ) 在 l(θ) 乘以 变为求最小值。

依旧使用梯度下降求解最小值

则 θ 的更新过程：

加入正则化项的更新过程：

向量化 θ 的更新过程：

参考

1. 李航 《统计学习方法》
2. 周志华 《机器学习》
3. 机器学习系列(2)_从初等数学视角解读逻辑回归