SVM和LR的区别¶
- 样本点对模型的作用不用,SVM中只有支持向量才对模型影响,而LR模型中每个样本都会对模型产生影响。
- 损失函数不同,SVM是hinge损失函数,而LR模型是log损失函数。
- 理论基础不同,SVM模型基于严格的理论推导(无约束优化问题 -> 等式约束优化问题 -> 不等式约束优化(KKT条件) -> SMO算法),而LR模型基于统计理论。
- 输出不同,LR模型输出的是每个样本点属于不同类别的概率值,而SVM不同。
- 过拟合处理,SVM模型包含L2正则化,LR模型需要单独添加正则化项。
- 非线性分类问题处理,SVM模型可以通过核函数将非线性问题转化为线性问题进行处理,LR模型需要手动进行特征转换等来处理。
- 计算复杂度,对于大数据集,SVM模型计算复杂度高,LR模型简单。
- 扩展性,SVM模型扩展后可解决回归模型,LR模型不行。
- 可解释性,LR模型基于统计模型,可解释性强。
- Normalization,SVM模型依赖数据表达的距离测度,需要对数据先做Normalization(保证不同特征维度在距离上的同等重要性),而LR模型不需要。
参考链接1:http://www.cnblogs.com/zhizhan/p/5038747.html
参考链接2:http://www.jianshu.com/p/f86de852ee96
comments powered by Disqus