距离

Author: KevinZonda

2-Supervised/2.6-SVM.md

@@ -2,6 +2,48 @@
 
 支持向量机（Support Vector Machine, SVM）是一种二分类模型，其基本模型是定义在特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化。SVM 通过间隔最大化，可以使得模型对噪声更加鲁棒，从而提高模型的泛化能力。
 
+## 点到平面的距离
+
+在一切开始前，我需要先介绍一下点到（超）平面的距离。
+
+我们定义（超）平面 $H$ 为 $\mathbf{w}^T\mathbf{x}+b=0$。
+并定义点 $Q$ $(q_1, q_2, q_3,..., q_N)$ 到平面 $H$ 的距禽为 $\text{dist}(Q, H)$。
+
+我们想要知道怎么计算点 $Q$ 到（超）平面 $H$ 的距离。
+
+取平面任意一点 $P$ $(p_1, p_2, p_3,..., p_N)$，且因为平面上的点满足 $\mathbf{w}^T\mathbf{x}+b=0$，因此有 $\mathbf{w}^T\mathbf{p}+b=0$。
+
+向量 $\overrightarrow{PQ} = \mathbf{q} - \mathbf{p}$，其相对于平面法向量的投影为 $| \overrightarrow{PQ}|\cos \theta$，其中 $\theta$ 为 $\overrightarrow{PQ}$ 和 $\mathbf{w}$ 的夹角。考虑其投影的几何性质，我们可以得到 $\text{dist}(Q, H) = | \overrightarrow{PQ}|\cos \theta$。
+
+令法向量 $\mathbf{n}\perp H: (w_1, w_2, ..., w_n)$，有
+
+
+
+$$
+\begin{align}
+\overrightarrow{PQ}\cdot \mathbf{n} &= |\overrightarrow{PQ}||\mathbf{n}|\cos \theta\\
+
+|\overrightarrow{PQ}|\cos \theta &= \frac{\mathbf{n}}{|\mathbf{n}|} \cdot \overrightarrow{PQ} \\
+\end{align}
+$$
+
+因此则有：
+
+$$
+\begin{align}
+\text{dist}(Q, H) &= \frac{\mathbf{n}}{|\mathbf{n}|} \cdot \overrightarrow{PQ} \\
+&= \frac{\mathbf{w}}{||\mathbf{w}||} \cdot (\mathbf{q} - \mathbf{p})\\
+&= \frac{1}{||\mathbf{w}||} \cdot (\mathbf{w}^T\mathbf{q} - \mathbf{w}^T\mathbf{p})\\
+&= \frac{1}{||\mathbf{w}||} \cdot (\mathbf{w}^T\mathbf{q} + b - (\mathbf{w}^T\mathbf{p}+b))\\
+\because \quad& \mathbf{w}^T\mathbf{p}+b=0\\
+\therefore \quad \text{dist}(Q, H) &= \frac{1}{||\mathbf{w}||} \cdot (\mathbf{w}^T\mathbf{q} + b)\\
+&= \frac{\mathbf{w}^T\mathbf{q} + b}{||\mathbf{w}||}
+
+\end{align}
+
+$$
+
+
 ## 定义间隔（Margin）
 
 $$
@@ -270,5 +312,10 @@ s.t.\quad
 \end{align}
 $$
 
+## 软间隔 Soft Margin
+
+## SMO 算法
+
+## 核函数 Kernel Function
+
 
-## SMO 算法