机器学习之逻辑回归

[TOC]

本文主要内容

• 逻辑回归（Logistic Regression）模型
• 决策边界（Decision Boundary）
• 成本函数（Cost Function）
• 梯度下降法（Gradient Descent）
• 多分类问题

逻辑回归（Logistic Regression）是机器学习中的监督学习算法，主要用于分类任务。这些任务预测的标签（label）通常为 {0,1}，或者说是一个概率值。 例如我们预测一封邮件是否为垃圾邮件；预测天气是否为晴天、阴天、雨天和雪天等。

逻辑回归（Logistic Regression）模型

从上文《机器学习之线性回归》我们知道线性回归的模型为 $h_\theta(x)=\theta_0+\theta_1x_1+...+\theta_nx_n=\theta^Tx$ 可以从上面模型通过函数 g 对线性回归进行变换 $h_\theta(x)=g(\theta^Tx) \tag 1$ 其中 $g(z)=\frac 1 {1+e^{-z}} \tag 2$

其中g(z) 是 sigmoid 函数或者叫逻辑函数。可以看出 0<= g(z)<=1

由 (1) 和 (2) $h_\theta(x)=\frac 1 {1+e^{-\theta^Tx}} \tag 3$

这就是逻辑回归的数学模型。

因为预测值 h(x) 是在{0,1}，故还可以用概率的角度进行解析这个模型的预测结果。

以预测垃圾邮件为例，如果 y=1 表示这封邮件时垃圾邮件，那么预测模型可以表示

$$h_\theta(x)=P(y=1|x;\theta) \tag 4$$

决策边界（Decision Boundary）

我们知道 sigmoid 函数的值是在 {0,1} 范围，当 \(h_\theta(x)\geq0.5\) 时，预测y=1，反之则预测 y=0。

根据 sigmoid 函数可以知道要预测 \(h_\theta(x)\geq0.5\) 那么等价于 \(\theta^Tx\geq0\)

我们以这张来自于 Andrew Ng 机器学习课程的 ppt 来说明。

假设通过训练得出 $\theta=\begin{bmatrix} -3\\ 1\\ 1 \end{bmatrix}$

那么 $x_1+x_2=3 \tag 5$

就是决策边界。当

$$x_1+x_2\geq3$$

表示预测值 y=1，反之预测值 y=0。

除了线性决策边界，还可以是曲线的。

这里的决策边界就是

$$x_1+x_2=1 \tag 6$$

以上两个例子都是简单的边界，当然实际情况下，决策边界有能是复杂的图形，甚至是高维度的。

成本函数（Cost Function）

回忆一下线性回归中的成本函数

$J(\theta)=\frac 1 {2m} \sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$ 我们定义函数

$$Cost(h_\theta(x),y)=\frac 1 2 (h_\theta(x)-y)^2$$

那么成本函数就可以写成

$$J(\theta)=\frac 1 m \sum_{i=1}^mCost(h_\theta(x),y)$$

逻辑回归的成本函数（Cost Function）

$$Cost(h_\theta(x),y)= \begin{cases} -log(h_\theta(x)) & \text{if $y$ =1} \\ -log(1-h_\theta(x)) & \text{if $y$ =0} \end{cases} \tag 7$$

当 y=1 时

当 y=0 时

由于 y 取值是{0,1}，我们可以把公式 (7) 写成

$$Cost(h_\theta(x),y)=-ylog(h_\theta(x))-(1-y)log(1-h_\theta(x)) \\ y\in {\{0,1\}}\tag 8$$

梯度下降法（Gradient Descent）

由上文可以知道成本函数为

$$J(\theta)=-\frac 1 m \sum_{i=1}^{m}(y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)})))$$

要求\(min_{\theta}J(\theta)\)，需要使用微分求导公式

$$f(x)'=(log_ax)'=\frac 1 x lna$$

同时为了简单起见，求导时可以假设只有一个样本，这样可以把∑符号去掉，方便推导。

因为上文中 log 函数默认是以 e 底的

$$log(h_\theta(x))' =\frac 1 {h_\theta(x)} \frac d {d\theta}h_\theta(x)$$

因为

$$g(z)=\frac 1 {1+e^{-z}}$$

有 $\begin{equation}\begin{split}g(z)'&=\frac d {dz}(1+e^{-z})^{-1} \\ &=-(1+e^{-z})^{-2} \cdot (e^{-z})\cdot(-1)\\ &=\frac {e^{-z}} {(1+e^{-z})^2}\\ &=g(z) \cdot (\frac {e^{-z}} {1+e^{-z}})\\ &=g(z)(1-g(z)) \end{split}\end{equation}$

那么有

$$\frac d {d\theta_j}g(\theta^Tx)=g(\theta^Tx)(1-g(\theta^Tx))\theta_j$$

于是 $J(\theta_j)'=\frac 1 m \sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)}_j \\ j \in {\{0,1,2...n\}} \tag 9$

这个式子形式上与线性回归的\(J(\theta)\)的偏导数是很相似的，但是需要注意的是 \ 预测函数 h(x) 是不一样的。

根据梯度下降法

$$\begin{equation}\begin{split}repeat &\{\\ &\theta_j := \theta_j-\alpha\frac 1 m \sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)}_j \\ \} \end{split}\end{equation}$$

多分类问题

对于二分类问题，我们很容易就可以建立模型。如果预测一个多分类问题，我们应该如何做呢？我们还是以Andrew Ng的ppt来说明

例如要预测一个三分类的问题，假设要预测class1，那么就可以其他两类class2，class3当做一个分类，这样转换成一个二分类问题。这时候我们就需要根据已有的训练数据构造新的训练数据。预测class2，class3时，以此类推。这样就需要有三个不同训练数据。

当有一个新的数据进行预测时，我们只要计算下面式子的最大值就可以了

ß $\max_i h_\theta(x^{(i)})\\ i\in\{1,2,3\}$

参考文献

Andrew Ng coursera 机器学习课程

• 上一篇 机器学习之朴素贝叶斯
• 下一篇 源码分析从AIDL看Binder进程间通信的流程

---