SVM和LR的区别¶

1. 样本点对模型的作用不用，SVM中只有支持向量才对模型影响，而LR模型中每个样本都会对模型产生影响。
2. 损失函数不同，SVM是hinge损失函数，而LR模型是log损失函数。
3. 理论基础不同，SVM模型基于严格的理论推导（无约束优化问题 -> 等式约束优化问题 -> 不等式约束优化(KKT条件) -> SMO算法），而LR模型基于统计理论。
4. 输出不同，LR模型输出的是每个样本点属于不同类别的概率值，而SVM不同。
5. 过拟合处理，SVM模型包含L2正则化，LR模型需要单独添加正则化项。
6. 非线性分类问题处理，SVM模型可以通过核函数将非线性问题转化为线性问题进行处理，LR模型需要手动进行特征转换等来处理。
7. 计算复杂度，对于大数据集，SVM模型计算复杂度高，LR模型简单。
8. 扩展性，SVM模型扩展后可解决回归模型，LR模型不行。
9. 可解释性，LR模型基于统计模型，可解释性强。
10. Normalization，SVM模型依赖数据表达的距离测度，需要对数据先做Normalization（保证不同特征维度在距离上的同等重要性），而LR模型不需要。

参考链接1：http://www.cnblogs.com/zhizhan/p/5038747.html

参考链接2：http://www.jianshu.com/p/f86de852ee96