Machine Learning Algorithms

This repository implements some Classical machine learning algorithms in Python (with NumPy and SciPy).

Comments and discussion are always highly appreciated :)

Algorithms implemented:

Supervised Learning

• k-NN
• Perceptron
• Classification Decision Tree (ID3/C4.5)
• Classification Tree (CART Algorithm)
• Regression Tree (CART Algorithm)
• Support Vector Machine (SMO Algorithm)
• Feedforward Neural Network (MLP)

Unsupervised Learning

• KMeans Clustering
• Gaussian Mixture Model Clustering (by EM algorithms/Gibbs Sampling/Variational Inference)(More methods can be found in this repository)
• Hierarchical Clustering (implementing multiple distances: Euclidean/Minkowski/Manhattan/Chebyshev/Manhalanobis/Correlation/Cosine)
• Principle Component Analysis
• Kernel PCA
• Factor Analysis(Linear Gaussian Model with anisotropic variances)
• Probabilistic PCA(Number of PCs are automatically determined by ARD prior)
• PPCA by Pyro(Illustrated in Jupyter Notebook)
  
  
  

机器学习算法

该仓库实现了一些经典的机器学习算法, 欢迎讨论和批评指正！

算法清单：

监督学习

• k近邻
• 感知机
• 分类决策树（ID3/C4.5）
• 分类树（CART算法）
• 回归树（CART算法）
• 支持向量机（SMO算法）
• 前馈神经网络（MLP）

无监督学习

• K均值聚类
• 高斯混合模型聚类（利用EM算法/Gibbs采样/变分推断）(更多方法见此仓库)
• 层次聚类（实现多种距离：欧氏距离/闵可夫斯基距离/曼哈顿距离/切比雪夫距离/马哈拉诺比斯距离/相关系数相似度/余弦相似度）
• 主成分分析
• 核主成分分析
• 因子分析（各向异性方差线性高斯模型）
• 概率主成分分析（利用ARD先验自动确定主成分数量）
• Pyro实现的概率主成分分析(Jupyter Notebook)