8. 正则化方法

文章图片

正则化方法是其他算法（通常是回归算法）的延伸 ， 根据算法的复杂度对算法进行调整 。 正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚 。 常见的算法包括：Ridge Regression ， Least Absolute Shrinkage and Selection Operator（LASSO） ， 以及弹性网络（Elastic Net） 。
9. 决策树学习

文章图片

决策树算法根据数据的属性采用树状结构建立决策模型 ，决策树模型常常用来解决分类和回归问题 。 常见的算法包括：分类及回归树（Classification And Regression Tree ，CART） ，ID3 (Iterative Dichotomiser 3) ，C4.5 ，Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 随机森林（Random Forest） ，多元自适应回归样条（MARS）以及梯度推进机（Gradient Boosting Machine ，GBM）
10. 贝叶斯方法

文章图片

贝叶斯方法算法是基于贝叶斯定理的一类算法 ， 主要用来解决分类和回归问题 。 常见算法包括：朴素贝叶斯算法 ， 平均单依赖估计（Averaged One-Dependence Estimators ，AODE） ， 以及Bayesian Belief Network（BBN） 。
11. 基于核的算法

文章图片

基于核的算法中最著名的莫过于支持向量机（SVM）了 。 基于核的算法把输入数据映射到一个高阶的向量空间 ，在这些高阶向量空间里 ，有些分类或者回归问题能够更容易的解决 。 常见的基于核的算法包括：支持向量机（Support Vector Machine ，SVM） ，径向基函数（Radial Basis Function， RBF) ，以及线性判别分析（Linear Discriminate Analysis， LDA)等
12.聚类算法

文章图片

聚类 ， 就像回归一样 ， 有时候人们描述的是一类问题 ， 有时候描述的是一类算法 。 聚类算法通常按照中心点或者分层的方式对输入数据进行归并 。 所以的聚类算法都试图找到数据的内在结构 ， 以便按照最大的共同点将数据进行归类 。 常见的聚类算法包括 k-Means算法以及期望最大化算法（Expectation Maximization ，EM） 。
13. 关联规则学习

文章图片

关联规则学习通过寻找最能够解释数据变量之间关系的规则 ， 来找出大量多元数据集中有用的关联规则 。 常见算法包括 Apriori算法和Eclat算法等 。
14. 人工神经网络

文章图片

人工神经网络算法模拟生物神经网络 ， 是一类模式匹配算法 。 通常用于解决分类和回归问题 。 人工神经网络是机器学习的一个庞大的分支 ， 有几百种不同的算法 。 （其中深度学习就是其中的一类算法 ， 我们会单独讨论） ， 重要的人工神经网络算法包括：感知器神经网络（Perceptron Neural Network）, 反向传递（Back Propagation） ，Hopfield网络 ， 自组织映射（Self-Organizing Map, SOM） 。 学习矢量量化（Learning Vector Quantization ，LVQ）
15. 深度学习

文章图片

深度学习算法是对人工神经网络的发展 。 在近期赢得了很多关注 ，特别是百度也开始发力深度学习后 ，更是在国内引起了很多关注 。在计算能力变得日益廉价的今天 ， 深度学习试图建立大得多也复杂得多的神经网络 。 很多深度学习的算法是半监督式学习算法 ， 用来处理存在少量未标识数据的大数据集 。 常见的深度学习算法包括：受限波尔兹曼机（Restricted Boltzmann Machine ，RBN） ，Deep Belief Networks（DBN） ， 卷积网络（Convolutional Network）, 堆栈式自动编码器（Stacked Auto-encoders） 。