几种常用回归算法原理说明与优缺点横向对比比较

原理：是一种常用的监督学习方法，给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。

判定方法：

（1）在分类任务中的可使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；

（2）在回归任务中可使用“平均法”，即将这k个样本的标记平均值作为预测结果。

（3）还可以根据距离远近，对样本进行加权，实现加权平均或加权投票。

注意点：

• 1、距离度量方法不同，找到的“近邻”也可能有显著区别，进而导致分类结果不同。通常是用欧式距离，即平方和开根号。

• 2、k在其中是一个相当重要的参数，k取值不同时，分类结果会有显著不同。

优点:

• 适合对稀有事件进行分类（例如当流失率很低时，比如低于0.5%，构造流失预测模型）

• 特别适合于多分类问题(multi-modal,对象具有多个类别标签)，例如根据基因特征来判断其功能分类，kNN比SVM的表现要好

• 理论成熟，思想简单，既可以用来做分类也可以用来做回归；

• 可用于非线性分类；

• 训练时间复杂度为O(n)；

• 对数据没有假设，准确度高，对outlier不敏感；

缺点：

• 计算量大；

• 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；

• 需要大量的内存。

决策树是是一个监督式学习方法，主要用于分类和回归，是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。

决策树是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。

可以毫无压力地处理特征间的交互关系并且是非参数化的，因此不必担心异常值或者数据是否线性可分

决策树优势：

1. 计算简单，易于理解，可解释性强；

2. 比较适合处理有缺失属性的样本；

3. 能够处理不相关的特征；

4. 在相对短的时间内能够对大型数据源做出可行且效果良好的结果。

决策树劣势：

1. 可能会建立过于复杂的规则，即过拟合。

2. 决策树有时候是不稳定的，因为数据微小的变动，可能生成完全不同的决策树。

3. 实际决策树学习算法是基于试探性算法，例如在每个节点实现局部最优值的贪心算法。 这样的算法是无法保证返回一个全局最优的决策树。可以通过随机选择特征和样本训练多个决策树来缓解这个问题。

4. 有些问题学习起来非常难，因为决策树很难表达。如：异或问题、奇偶校验或多路复用器问题

5. 如果有些因素占据支配地位，决策树是有偏的。因此建议在拟合决策树之前先平衡数据的影响因子。

6. 不支持在线学习，于是在新样本到来后，决策树需要全部重建

实际中最常用的就是二分类的Logistic回归，用于分类

Logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。

Logistic回归的主要用途：

• 寻找危险因素：寻找某一疾病的危险因素等； 

• 预测：根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大； 

• 判别：实际上跟预测有些类似，也是根据模型，判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病。

Logistic回归主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率，等等

其损失函数的目的是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重

逻辑回归优点：

1. 预测结果是界于0和1之间的概率；

2. 可以适用于连续性和类别性自变量；

3. 容易使用和解释；

逻辑回归缺点：

• 当特征空间很大时，逻辑回归的性能不是很好；

• 容易欠拟合，一般准确度不太高；

• 不能很好地处理大量多类特征或变量；只能处理两分类问题（在此基础上衍生出来的Softmax可以用于多分类），且必须线性可分；

• 预测结果呈“S”型，因此从log(odds)log(odds)向概率转化的过程是非线性的，在两端随着log(odds)log(odds)值的变化，概率变化很小，边际值太小，slopeslope太小，而中间概率的变化很大，很敏感。 导致很多区间的变量变化对目标概率的影响没有区分度，无法确定阀值；

• 对于非线性特征，需要进行转换；

SVR