大数据十大经典算法SVM讲解.pptx

数据挖掘十大算法之 SVM;分类;什么是SVM;SVM的特点;线性分类;线性分类;线性分类;最优标准：分类间隔;最优标准：分类间隔;?在H1和H2上的点就叫做支持向量 ?H1和H2之间的距离称为间隔，间隔依赖于法向量w,等于2/||w||,H1和H2称为间隔边界 ?由等式（1），可将问题写为;?由于函数间隔?不影响最优化问题的解，这样可以取?=1，由于最大化1/||w||和最小化 1/2* ||w||* ||w||问题是等价的 ?于是问题便转化成了求 ?很容易看出当||w||=0的时候就得到了目标函数的最小值。反映在图中，就是H1与H2 两条直线间的距离无限大，所有样本点都进入了无法分类的灰色地带 ?解决方法：加一个约束条件;?我们把所有样本点中间隔最小的那一点的间隔定为1，也就意味着集合中的其他点间隔都不会小于1，于是不难得到有不等式：yi[<w,xi>+b]≥1 (i=1,2,…,l)总成立。 ?于是上面的问题便转化成了求条件最优化问题：;?这是一个凸二次规划问题，所以一定会存在全局的最优解，但实际求解较为麻烦。 ?实际的做法：将不等式约束转化为等式约束，从而将问题转化为拉格朗日求极值的问题。 （2）;?为了求解线性可分支持向量机的最优化问题（2）~（3），将它作为原始最优化问题，应用拉格朗日对偶性（参考李航的统计学习方法附录C），通过求解对偶问题得 到原始问题的最优解，这是线性可分支持向量机的对偶算法。;?引入拉格朗日乘子 限定，因为 要求极大值，而;?代入L(w,b,a):;凸二次规划问题求解;更多细节请参照李航的统计学习方法SVM这一章;?为了;例题;;线性分类;非线性分类;非线性分类;非线性分类;非线性分类;核函数;核函数;常用的核函数;总结;总结;参考资料数据挖掘十大算法之 SVM;分类;什么是SVM;SVM的特点;线性分类;线性分类;线性分类;最优标准：分类间隔;最优标准：分类间隔;?在H1和H2上的点就叫做支持向量 ?H1和H2之间的距离称为间隔，间隔依赖于法向量w,等于2/||w||,H1和H2称为间隔边界 ?由等式（1），可将问题写为;?由于函数间隔?不影响最优化问题的解，这样可以取?=1，由于最大化1/||w||和最小化 1/2* ||w||* ||w||问题是等价的 ?于是问题便转化成了求 ?很容易看出当||w||=0的时候就得到了目标函数的最小值。反映在图中，就是H1与H2 两条直线间的距离无限大，所有样本点都进入了无法分类的灰色地带 ?解决方法：加一个约束条件;?我们把所有样本点中间隔最小的那一点的间隔定为1，也就意味着集合中的其他点间隔都不会小于1，于是不难得到有不等式：yi[<w,xi>+b]≥1 (i=1,2,…,l)总成立。 ?于是上面的问题便转化成了求条件最优化问题：;?这是一个凸二次规划问题，所以一定会存在全局的最优解，但实际求解较为麻烦。 ?实际的做法：将不等式约束转化为等式约束，从而将问题转化为拉格朗日求极值的问题。 （2）;?为了求解线性可分支持向量机的最优化问题（2）~（3），将它作为原始最优化问题，应用拉格朗日对偶性（参考李航的统计学习方法附录C），通过求解对偶问题得 到原始问题的最优解，这是线性可分支持向量机的对偶算法。;?引入拉格朗日乘子 限定，因为 要求极大值，而;?代入L(w,b,a):;凸二次规划问题求解;更多细节请参照李航的统计学习方法SVM这一章;?为了;例题;;线性分类;非线性分类;非线性分类;非线性分类;非线性分类;核函数;核函数;常用的核函数;总结;总结;参考资料