黑马程序员技术交流社区

标题: 【上海校区】机器学习算法（4）之支持向量机的简易版 [打印本页]

---

作者: 不二晨    时间: 2018-10-19 09:56
标题: 【上海校区】机器学习算法（4）之支持向量机的简易版
前言：支持向量机(Support Vecor Machine,以下简称SVM)虽然诞生只有短短的二十多年，但是自一诞生便由于它良好的分类性能席卷了机器学习领域，并牢牢压制了神经网络领域好多年。如果不考虑集成学习的算法，不考虑特定的训练数据集，在分类算法中的表现SVM说是排第一估计是没有什么异议的。

支持向量机：

支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的 间隔最大的线性分类器，间隔最大使它有别于感知机；
支持向量机还包括核技巧，这使它成为实质上的非线性分类器，其学习的策略是间隔最大化；
支持向量机包含由简至繁的模型，线性可分支持向量机、线性支持向量机、非线性支持向量机
大体认识SVM

支持向量机(SVM)，是一种有监督学习算法。可以处理线性以及非线性的情况。



SVM思想一：（最大间隔）

      找出一条分割线（超平面），使得两个类别与线（面）的间隙越大越好。-------模型越健壮

衡量方法：

距离的计算





要注意：向量的内积的表示方法，故向量的内积看成一个实数即可





SVM思想二：（决策公式）

数据标签定义

    数据集：(X1,Y1)(X2,Y2)…(Xn,Yn)

    Y为样本的类别：当X为正例时候Y = +1 当X为负例时候Y = -1

    决策方程：



          ==>      

SVM思想三：优化的目标

通俗解释：找到一个条线（w和b），使得离该线最近的点（雷区）能够最远

将点到直线的距离化简得



放缩变换：对于决策方程（w,b）可以通过放缩使得其结果值|Y|>= 1，（之前我们认为恒大于0，现在严格了些）



优化目标：



由于，只需要考虑



（目标函数搞定！）

SVM思想四：优化理论

当前目标：



求解极大值问题转换成极小值问题=>



约束条件：



拉格朗日乘子法（结论，直接用）

带约束的优化问题：



原式转换：



于是，我们的式子：



约束条件：



SVM求解

分别对w和b求偏导,分别得到两个条件（由于对偶性质）



对w、b求偏导：



带入目标函数：







对ɑ求极大值



条件：



换成求极小值：





SVM思想五：核变换

低维不可分问题

核变换：既然低维的时候不可分，那我给它映射到高维呢？



目标：找到一种变换的方法，也就是




---------------------
【转载】
作者：不曾走远~
原文：https://blog.csdn.net/qq_20412595/article/details/82106934

---

作者: 不二晨    时间: 2018-10-25 10:45

---

作者: 魔都黑马少年梦    时间: 2018-11-1 16:20

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2