逻辑回归模型

逻辑回归模型是针对线性可分问题的一种易于实现而且性能优异的分类模型。
它假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降法来求解参数，来达到将数据二分类的目的。

算法推导

引入几率比（odds）：指一个事件发生的概率与不发生概率的比值。对其求log，可得：
$$
logit(p) = \log{\frac{p}{1-p}}
$$

将对数几率记为输入特征值的线性表达式,可得
$$
logit(P(Y=1|X)) = w^Tx
$$
对于某一样本属于特定类别的概率，为$logit$函数的反函数，称为$logistic$函数，即$sigmoid$函数:
$$
\phi(x) = \frac{1}{1+e^{-z}}
$$

逻辑斯蒂回归采用sigmoid函数作为激励函数

逻辑斯蒂回归模型定义：
$$
P(Y=1|X) = \frac{e^{wx}}{1+e^{wx}}
$$
$$
P(Y=0|X) = \frac{1}{1+e^{wx}}
$$
可知，输出$Y=1$的对数几率是输入$x$的线性函数。
对于给定的训练数据集$T$,可以应用极大似然估计法估计模型参数，假设模型概率分布是：
$$
P(Y=1|X) = \pi{(x)}
$$
$$
P(Y=0|X) = 1-\pi{(x)}
$$
似然函数为：
$$
\prod_{i=1}^N{[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i}}
$$
对数似然函数为：
$$
L(w)=\sum_{i=1}^N{[y_i\log{\pi(x_i)}+(1-y_i)\log{(1-\pi(x_i))}]}
$$

优缺点

逻辑斯蒂回归模型的优点有：
- 形式简单，模型的可解释性非常好。从特征的权重可以看到不同的特征对最后结果的影响，某个特征的权重值比较高，那么这个特征最后对结果的影响会比较大。
- 模型效果不错。在工程上是可以接受的（作为baseline)，如果特征工程做的好，效果不会太差，并且特征工程可以大家并行开发，大大加快开发的速度。
- 训练速度较快。分类的时候，计算量仅仅只和特征的数目相关。并且逻辑回归的分布式优化$sgd$发展比较成熟，训练的速度可以通过堆机器进一步提高，这样我们可以在短时间内迭代好几个版本的模型。
- 资源占用小,尤其是内存。因为只需要存储各个维度的特征值，。
- 方便输出结果调整。逻辑回归可以很方便的得到最后的分类结果，因为输出的是每个样本的概率分数，我们可以很容易的对这些概率分数进行cutoff，也就是划分阈值(大于某个阈值的是一类，小于某个阈值的是一类)。
逻辑斯蒂回归模型的缺点有：
- 准确率并不是很高。因为形式非常的简单(非常类似线性模型)，很难去拟合数据的真实分布。
- 很难处理数据不平衡的问题。举个例子：如果我们对于一个正负样本非常不平衡的问题比如正负样本比 10000:1.我们把所有样本都预测为正也能使损失函数的值比较小。但是作为一个分类器，它对正负样本的区分能力不会很好。
- 处理非线性数据较麻烦。逻辑回归在不引入其他方法的情况下，只能处理线性可分的数据，或者进一步说，处理二分类的问题
- 逻辑回归本身无法筛选特征。有时候，我们会用GBDT来筛选特征，然后再上逻辑回归。

逻辑回归模型

逻辑回归模型

算法推导

优缺点

相关问题