一、硬间隔
样本在原始特征空间中线性可分
假设分隔超平面为
此平面要满足两点：
1.可将两类点分开：
使此不等式中等号成立的样本就是支持向量
2.超平面
经推导
综合以上两点
求解满足①②的ω、b即可。（用拉格朗日对偶问题原理）
二、软间隔
样本大体上线性可分，但边界处有少量样本跑到对面去了
对每个样本引入松弛变量ξ
例如某个样本是+1类的，但离超平面距离-0.5，
这个样本的松弛变量ξ=1.5
所以越是偏离本类，靠近异类的样本，ξ越大。
但ξ的和一定是越小越好，所以改良①式：
C是可调的系数，叫做惩罚因子，
显然C越大，惩罚越大，越重视离群点的影响，
C越小，惩罚越小，越忽视离群点的影响。
三、非线性可分
需将原向量
例如：原始为二维特征（a,b）,变换为三维特征
设变换函数为φ，变换后为
把
但是，求解过程中需要求
核函数
只要把原始
常用的核函数：
线性核：相当于在原始特征空间中求两向量内积
多项式核
高斯核：
映射到无穷维上，σ越大，各维权重衰减越快，相当于只有少数几个维度起作用，反之则相反。
sigmoid核、拉普拉斯核
四、特点
对中小量样本还可以，大量计算量太大
对数据缺失敏感
对非线性没有通用的解决方案，核不好选。
【转载】原文地址:https://blog.csdn.net/rona1/article/details/80761361
| 欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) | 黑马程序员IT技术论坛 X3.2 |
