upd

KevinZonda · KevinZonda · commit a78d5240e504 · 2024-05-17T11:03:17.000+01:00
diff --git a/2-Supervised/2.1-LinearRegression.md b/2-Supervised/2.1-LinearRegression.md
@@ -1,5 +1,7 @@
 # 2.1 线性回归
 
+![AI1](https://img.shields.io/badge/LC-Artificial%20Inteligence%201-blue)
+
 ## 什么是线性回归
 
 线性回归（Linear Regression）是一个机器学习模型用于完成回归任务。为解释线性回归，我们将其分为两个部分：线性和回归。
diff --git a/2-Supervised/2.2-GD.md b/2-Supervised/2.2-GD.md
@@ -1,5 +1,8 @@
 # 2.2 梯度下降 Gradient Descent
 
+![AI1](https://img.shields.io/badge/LC-Artificial%20Inteligence%201-blue)
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+
 在上一节，我们通过线性回归了解了基础的监督学习的模型。我们定义了模型，成本函数，并尝试优化成本函数。优化成本函数使得我们的模型能够更好地完成任务（拟合数据）。在这一节，我们将介绍一个常用的优化算法：梯度下降（Gradient Descent）。其是一种更通用的方法用于最小化函数。
 
 ## 1. 梯度下降
diff --git a/2-Supervised/2.3-LinearRegressionGD.md b/2-Supervised/2.3-LinearRegressionGD.md
@@ -1,5 +1,8 @@
 # 2.3 线性回归与梯度下降
 
+![AI1](https://img.shields.io/badge/LC-Artificial%20Inteligence%201-blue)
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+
 在 2.1 节，我们定义了线性回归的优化目标为：
 
 $$
diff --git a/2-Supervised/2.4-LogisticRegression.md b/2-Supervised/2.4-LogisticRegression.md
@@ -1,5 +1,7 @@
 # 2.4 逻辑回归
 
+![AI1](https://img.shields.io/badge/LC-Artificial%20Inteligence%201-blue)
+
 在学习完线性回归后，我们来学习逻辑回归。逻辑回归（Logistic Regression）是一种二元分类（Binary Classification）算法。分类算法故名思议就是将数据分为不同的类别。而二元则是表示分的类别总共由 2 个，我们可以将其命名为正类（Positive）和负类（Negative）。
 
 ## 定义问题
diff --git a/2-Supervised/2.5-NonLinearTransformation.md b/2-Supervised/2.5-NonLinearTransformation.md
@@ -1,5 +1,8 @@
 # 2.5 非线性变换
 
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+![ML](https://img.shields.io/badge/LH-Machine%20Learning-red)
+
 在学完线性回归和逻辑回归后你一定会有一个疑问，我们既然定义模型为线性函数，而线性函数中所有的输入特征都是线性的，那么我们如何处理非线性的特征呢？例如我们应该如何用线性模型来拟合一个二次函数呢？
 
 非线性变换可以解决这个问题。
diff --git a/2-Supervised/2.6-SVM.md b/2-Supervised/2.6-SVM.md
@@ -1,5 +1,7 @@
 # 2.6 支持向量机【待完成】
 
+![ML](https://img.shields.io/badge/LH-Machine%20Learning-red)
+
 支持向量机（Support Vector Machine, SVM）是一种二分类模型，其基本模型是定义在特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化。SVM 通过间隔最大化，可以使得模型对噪声更加鲁棒，从而提高模型的泛化能力。
 
 ## 线性可分支持向量机
diff --git a/2-Supervised/2.7-KernelTrick.md b/2-Supervised/2.7-KernelTrick.md
@@ -0,0 +1,11 @@
+# 2.7 核技巧 Kernel Trick
+
+![ML](https://img.shields.io/badge/LH-Machine%20Learning-red)
+
+上一节 SVM，我们定义了 $\kappa(\mathbf{x}, \mathbf{z})=\phi(\mathbf{x})^T\phi(\mathbf{z})$ 作为核函数。这里我们将直接求解 $\kappa$ 介绍核技巧（Kernel Trick）。
+
+## Mercer's Condition
+
+寻找一个 $\phi$ 能够使得 $\kappa(\mathbf{x}, \mathbf{z})=\phi(\mathbf{x})^T\phi(\mathbf{z})$ 是一个困难的问题。但是我们可以通过直接寻找 $\kappa$ 而不去寻找 $\phi$ 来解决这个问题。
+
+Mercer's Condition 是一个充分条件，如果一个函数 $M(\mathbf{x}, \mathbf{z})$ 满足 Mercer's Condition，那么我们可以认为 $M$ 是一个合法的核函数。
diff --git a/3-InformationTheory/1-InfoAndEntropy.md b/3-InformationTheory/1-InfoAndEntropy.md
@@ -1,5 +1,7 @@
 # 自信息与熵
 
+![AI2](https://img.shields.io/badge/LI-Artificial%20Inteligence%202-green)
+
 ## 自信息（Self-Informaiton）
 
 自信息是一个事件的信息量，用来衡量一个事件发生的意外程度。其是通过事件 $x$ 的概率来定义的。当 $P(x)$ 越大，事件发生的概率越大，那么自信息越小，其信息量越小。因此我们可以直觉定义如下：
diff --git a/3-InformationTheory/2-CondEntropyAndD.md b/3-InformationTheory/2-CondEntropyAndD.md
@@ -1,5 +1,6 @@
 # 联合熵、条件熵、散度与互信息
 
+![AI2](https://img.shields.io/badge/LI-Artificial%20Inteligence%202-green)
 
 ## 联合熵（Joint Entropy）
 
diff --git a/4-DeepLearning/4.1-Perceptron.md b/4-DeepLearning/4.1-Perceptron.md
@@ -1,5 +1,7 @@
 # 感知机（Perceptron）
 
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+
 感知机是深度学习中最重要的单元之一，其意图在模拟一个神经元的工作原理。
 
 ![https://askabiologist.asu.edu/chinese-simplified/%E7%A5%9E%E7%BB%8F%E5%85%83%E7%9A%84%E8%A7%A3%E5%89%96%E5%AD%A6](./img/neuron.png)
diff --git a/4-DeepLearning/4.2-MLP.md b/4-DeepLearning/4.2-MLP.md
@@ -1,5 +1,7 @@
 # 多层感知机（MLP）aka FFNet
 
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+
 ![](./img/MLP.png)
 
 多层感知机（Multilayer Perceptron, MLP）又叫前馈神经网络（Feed-Forward Network, FFNet）是一个通过多个层组成的神经网络，每个层有多个神经元。其拥有输入层、隐藏层和输出层。每个神经元接收上一层的输出，通过加权和激活函数输出到下一层。如果这个网络拥有超过一层隐藏层，我们则称之为深度神经网络（Deep Neural Network, DNN）。
diff --git a/4-DeepLearning/4.3-BP.md b/4-DeepLearning/4.3-BP.md
@@ -1,5 +1,7 @@
 # 计算图与反向传播
 
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+
 对模型数学层面求其解析导，对于更复杂的模型是难以实现的。例如MLP，如果我们有很多层，例如 100 层，手动求其导数是没可能的。因此我们需要一种自动求导的方法，这就是反向传播。
 
 ## 计算图
diff --git a/4-DeepLearning/4.x-AE.md b/4-DeepLearning/4.x-AE.md
@@ -1,5 +1,7 @@
 # 自编码器（Autoencoder）
 
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+
 自编码器是一种非监督学习机器学习模型。
 
 自编码器的目标是学习一个函数 $f$，使其能够将输入数据 $\mathbf{x}\in \mathbb{R}^m$ 映射到另一个维度 $\mathbb{R}^n$ 的空间中。而如果 $n < m$，则称为压缩自编码器（Undercomplete Autoencoder）；如果 $n > m$，则称为扩展自编码器（Overcomplete Autoencoder）。在这一节将关注压缩自编码器。
diff --git a/4-DeepLearning/4.x-GAN.md b/4-DeepLearning/4.x-GAN.md
@@ -1,5 +1,7 @@
 # 生成对抗网络（GAN）
 
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+
 生成对抗网络（GAN）是一种生成模型，它由两个神经网络组成：生成器 $G$ 和判别器 $D$。生成器负责生成数据，判别器负责判断数据是否真实。生成器和判别器通过对抗训练的方式共同提升，最终生成器 $G$ 可以生成逼真（以假乱真）的数据。
 
 ## 生成对抗网络的原理
diff --git a/5-SequenceModel/5.1-RNN.md b/5-SequenceModel/5.1-RNN.md
@@ -1,5 +1,7 @@
 # 循环神经网络 RNN
 
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+
 考虑我们输入的是一个序列信息，而序列信息的特性是不定长度，除了我们将模型输入层拉长到非常长去覆盖所有可能的长度，我们还可以使用循环神经网络（Recurrent Neural Network, RNN）来处理这种序列信息。
 
 ## 模型
diff --git a/5-SequenceModel/5.2-LSTM.md b/5-SequenceModel/5.2-LSTM.md
@@ -1,5 +1,7 @@
 # 长短时记忆网络 LSTM
 
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+
 LSTM（Long Short-Term Memory）网络是一种特殊的 RNN，它的设计是为了解决 RNN 中的梯度消失和梯度爆炸问题，其还能优化长期依赖的问题。
 
 
diff --git a/6-Optimisation/6.1-Convex.md b/6-Optimisation/6.1-Convex.md
@@ -1,5 +1,7 @@
 # 凸函数（Convex）
 
+![ML](https://img.shields.io/badge/LH-Machine%20Learning-red)
+
 ## 定义
 
 ![](img/convex.png)
diff --git a/6-Optimisation/6.2-GradientDecent.md b/6-Optimisation/6.2-GradientDecent.md
@@ -1,5 +1,8 @@
 # 6.2 梯度下降的变种
 
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+![ML](https://img.shields.io/badge/LH-Machine%20Learning-red)
+
 梯度下降被定义为
 
 $$
diff --git a/README.md b/README.md
@@ -9,13 +9,17 @@
 
 本读物核心框架基于英国伯明翰大学本科课程 [LC Artificial Intelligence 1 (06 34238)](https://program-and-modules-handbook.bham.ac.uk/webhandbooks/WebHandbooks-control-servlet?Action=getModuleDetailsList&pgSubj=06&pgCrse=34238&searchTerm=002022)、[LI Artificial Intelligence 2 (06 34255)](https://program-and-modules-handbook.bham.ac.uk/webhandbooks/WebHandbooks-control-servlet?Action=getModuleDetailsList&pgSubj=06&pgCrse=34255&searchTerm=002022)、[LH Machine Learning (06 38965)](https://program-and-modules-handbook.bham.ac.uk/webhandbooks/WebHandbooks-control-servlet?Action=getModuleDetailsList&pgSubj=06&pgCrse=38965&searchTerm=002023)、[LH Neural Computation (06 32167)](https://program-and-modules-handbook.bham.ac.uk/webhandbooks/WebHandbooks-control-servlet?Action=getModuleDetailsList&pgSubj=06&pgCrse=32167&searchTerm=002022) 得来。内容并不完全重合。
 
-这是本关于机器学习基础入门的书籍，并假设了你拥有高中的数学基础，主要包括以下几个部分：
 
-- [1.机器学习基础](./1-Basic/)
-  - [1.1 机器学习概览](./1-Basic/1.1-Overview.md)
-  - [1.2 高中数学复习](./1-Basic/1.2-MathRecap.md)
+## 适用于伯明翰大学学生的标签
 
+由于整本书关联于伯明翰课程，因此我们也为方便伯明翰计算机科学本科与硕士学生，增加了如下标签：
 
+![AI1](https://img.shields.io/badge/LC-Artificial%20Inteligence%201-blue)
+![AI2](https://img.shields.io/badge/LI-Artificial%20Inteligence%202-green)
+![NC](https://img.shields.io/badge/LH-Neural%20Compulation-red)
+![ML](https://img.shields.io/badge/LH-Machine%20Learning-red)
+
+其中蓝色与LC指本科第一年课程。绿色与LI指本科第二年课程。红色与LH指本科第三年课程。对于硕士级别课程 LM，其需要学习全部等级的内容（取决于你是 ACS 还是 CS）。
 
 ## 感谢列表
 
diff --git a/SUMMARY.md b/SUMMARY.md
@@ -13,6 +13,7 @@
   - [逻辑回归](./2-Supervised/2.4-LogisticRegression.md)
   - [非线性变换](./2-Supervised/2.5-NonLinearTransformation.md)
   - [支持向量机 SVM](./2-Supervised/2.6-SVM.md)
+  - [核技巧 Kernel Trick](./2-Supervised/2.7-KernelTrick.md)
 
 - [深度学习](./4-DeepLearning/README.md)
   - [感知机](./4-DeepLearning/4.1-Perceptron.md)

Original file line number	Diff line number	Diff line change
`@@ -1,5 +1,6 @@`
`1`	`1`	`# 联合熵、条件熵、散度与互信息`
`2`	`2`
	`3`	`+![AI2](https://img.shields.io/badge/LI-Artificial%20Inteligence%202-green)`
`3`	`4`
`4`	`5`	`## 联合熵（Joint Entropy）`
`5`	`6`