Skip to content

Commit

Permalink
fix
Browse files Browse the repository at this point in the history
  • Loading branch information
KevinZonda committed May 18, 2024
1 parent 5fd867e commit 94814d4
Show file tree
Hide file tree
Showing 5 changed files with 18 additions and 19 deletions.
4 changes: 1 addition & 3 deletions 1-Basic/1.2-MathRecap.md
Original file line number Diff line number Diff line change
@@ -1,8 +1,6 @@
# 高中数学回顾

在这一节,我们将尝试解释为接着学习机器学习所需要的基础数学概念。你可以尝试先跳过这一节,在遇到不会的数学概念,再回头看看,或许可以达到更好的效果。这一节中所讲的均为中国高中通常会介绍的内容。

这一届将假设你已经拥有基础的数学认知:即我们假设你完成了中国高中的数学课程。你无需担心如果你不是理科生而可能少学了些数学而难以前进,因为我们将只依赖如下几点:
在这一节,我们将解释为接下来学习机器所需要的基础数学概念。你可以尝试先跳过这一节,在遇到不会的数学概念,再回头看看,或许可以达到更好的效果。这一节中所讲的均为中国高中通常会介绍的内容。你无需担心如果你不是理科生而可能少学了些数学而难以前进,因为我们将只依赖如下几点:

- 求和
- 求积
Expand Down
12 changes: 5 additions & 7 deletions 2-Supervised/2.1-LinearRegression.md
Original file line number Diff line number Diff line change
Expand Up @@ -17,7 +17,8 @@
$$
\begin{align}
f(\mathbf{x})
&=w_1x_1 + w_2x_2 + \ldots + w_dx_d + b
&=w_1x_1 + w_2x_2 + \ldots + w_dx_d + b\\
&=\mathbf{w}^T\mathbf{x} + b
\end{align}
$$

Expand Down Expand Up @@ -132,16 +133,13 @@ $$
~~易知该损失函数的极值点是全局最低点,故严格证明暂时略去。~~

简洁来说,对于一个凸函数(convex function),其的全局最小值会出现在其导数为 0 的情况(需要注意的是,凸函数可能会有多个点使其导数为 0,且这些点的函数值均为全局最小值)。而我们的成本函数可以被证明为凸函数,因此我们可以通过对其求导数来获得全局最小值。我们会在后续章节讨论凸函数的性质。
简单来说,对于一个凸函数(convex function),其的全局最小值会出现在其导数为 0 的情况(需要注意的是,凸函数可能会有多个点使其导数为 0,且这些点的函数值均为全局最小值)。而我们的成本函数可以被证明为凸函数,因此我们可以通过对其求导数来获得全局最小值。我们会在后续章节讨论凸函数的性质。

> 高中生留给校长的问题(删掉,五毛)
>
> J是什么?L是什么?

$$
\begin{align}
\frac{\partial L}{\partial \mathbf{w}} &=
\frac{\partial J}{\partial \mathbf{w}} &=
\frac{\partial}{\partial \mathbf{w}} \frac{1}{2n}\sum_{i=1}^{n}(\mathbf{w}^T\mathbf{x}_i - y_i)^2
\\
&= \frac{\partial}{\partial \mathbf{w}} \frac{1}{2n}\sum_{i=1}^{n}(\mathbf{w}^T\mathbf{x}_i\mathbf{w}^T\mathbf{x}_i + y_i^2-2\mathbf{w}^T\mathbf{x}_iy_i)
Expand All @@ -158,7 +156,7 @@ $$
$$
\begin{align}
\frac{\partial L}{\partial \mathbf{w}}&=0\\
\frac{\partial J}{\partial \mathbf{w}}&=0\\
\frac{1}{n}\sum_{i=1}^{n}(\mathbf{x}_i^2\mathbf{w}-\mathbf{x}_iy_i)&=0\\
\sum_{i=1}^{n}(\mathbf{x}_i^2\mathbf{w}-\mathbf{x}_iy_i)&=0\\
\sum_{i=1}^{n}(\mathbf{x}_i^2\mathbf{w})-\sum_{i=1}^{n}(\mathbf{x}_iy_i)&=0\\
Expand Down
12 changes: 8 additions & 4 deletions 2-Supervised/2.2-GD.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,7 +7,9 @@

## 1. 梯度下降

初中和高中数学告诉我们,一个函数的斜率(即一阶导数)表示了函数的变化率。如果一个函数的斜率为正,那么函数在这一点上是递增的;如果一个函数的斜率为负,那么函数在这一点上是递减的。用表格来说就是:
初中和高中数学告诉我们,一个函数的斜率(即一阶导数)表示了函数的变化率。如果一个函数的斜率为正,那么函数在这一点上是递增的;如果一个函数的斜率为负,那么函数在这一点上是递减的。

对于函数 $f(x)$,如果我们在 $x=M$ 处有 $f'(M)=0$,且其是极大值,则我们可以得到:

> 高中生留给校长的问题(删掉,五毛)
>
Expand All @@ -18,7 +20,7 @@
| $f'(x)$ | $+$ | $0$ | $-$ |
| $f(x)$ | $\nearrow$ | 极大值 | $\searrow$ |

对于极小值
而如果是极小值,则有

| $x$ | $x<M$ | $x=M$ | $x>M$ |
| --- | --- | --- | --- |
Expand Down Expand Up @@ -119,14 +121,14 @@ $$

## 原理:梯度下降为什么总是能走向最深的点

> 接下来的内容属于拓展内容,对于高中数学起步的机器学习并不需要了解和掌握
> 本节内容为高阶内容,如果你对数学不感兴趣,可以跳过这一节
梯度下降的本质推导来源于泰勒展开。泰勒展开是一个非常重要的数学工具,它可以将一个函数在某一点附近用一个多项式来近似表示。泰勒展开的公式如下:

$$
\begin{align}
f(x)
&=\sum_{n=0}^\infty\frac{f^{(n)}(x_0)}{n!}(x-x^0)^n
&=\sum_{n=0}^\infty\frac{f^{(n)}(x_0)}{n!}(x-x_0)^n
\\
&= f(x_0) + f'(x_0)(x-x_0) + \frac{f''(x_0)}{2!}(x-x_0)^2 + \cdots + \frac{f^{(n)}(x_0)}{n!}(x-x_0)^n
\end{align}
Expand Down Expand Up @@ -233,6 +235,8 @@ $$

## 拓展:IRLS

> 本节内容为高阶内容,如果你对数学不感兴趣,可以跳过这一节。
如果将泰勒展开展开至二阶,则有

$$
Expand Down
8 changes: 3 additions & 5 deletions 2-Supervised/2.7-KernelTrick.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,6 +6,8 @@

> 核方法和核技巧本质上是相同的概念,只是在不同语境下使用的不同术语。
> ⚠️注意:请不要将其和 CNN 中的卷积核混淆。它们是不同的概念。
## 空间变换

如果简单的去看待核函数,我们可以认为核函数是一个函数,其输入是两个向量,输出是一个标量。即 $\kappa: \mathcal{X} \times \mathcal{X} \rightarrow \mathbb{R}$。
Expand Down Expand Up @@ -41,8 +43,4 @@ $$
- 且是半正定的(Positive Semidefinite, PSD)记作 $K\succcurlyeq 0$
- 即对于任何 $\alpha \in \mathbb{R}^n$,有 $\alpha^T K \alpha \geq 0$

则 $M$ 是一个合法的核函数。

> 校长和教授温馨提示:
>
> 这个Kernel和CNN中的Kernel不是一个Kernel
则 $M$ 是一个合法的核函数。
1 change: 1 addition & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -31,3 +31,4 @@

- [@PassingWang](https://github.com/PassingWang):审阅者(可读性)
- [@George-Miao](https://github.com/George-Miao):审阅者(数学)
- [@LaoshuBaby](https://github.com/LaoshuBaby):审阅者(可读性,数学)、校对者

0 comments on commit 94814d4

Please sign in to comment.