资源经验分享泛统计理论初探——非线性支持向量机探讨

泛统计理论初探——非线性支持向量机探讨

2019-10-14 | |  63 |   0

原标题:泛统计理论初探——非线性支持向量机探讨

原文来自:CSDN      原文链接:https://blog.csdn.net/qq_26727101/article/details/102529911


数据挖掘-非线性支持向量机探讨

非线性支持向量机探讨
在之前的两篇支持向量机文章的介绍中,阐述了支持向量机的原理与线性的支持向量机的本质以及最大间隔的直观含义,在本文中,我们将继续观察支持向量机,当遇到线性不可分的数据时,介绍如何使用核技巧进行处理。


z27.png
z31.png


上图1可以理解为数据在直观上是线性不可分的,我们假设有一个超曲面是椭圆可以较好地分割数据。当它进行核技巧进行处理后,得到在新的空间中是如上图2。即核技巧将当前空间的超平面转化为新空间的一个超平面,在新空间中数据是线性可分的,所以这种核技巧其实是一种函数映射。 根据上面的图片我们理解,核函数通过一个函数把原空间的超曲面的分割变为新空间中的超平面,在表达上,摘自(《统计学习方法》 李航)如下式: 原始空间的椭圆超曲面表达式是

z28.png
新空间的超平面表达式是:
z29.png
而在此处的核函数表达式是:
z30.png
而不是所有的函数都可以随意作为核函数,需要满足核函数对应的Gram矩阵是半正定矩阵,才能称为正定核,才能进一步作为核函数。常用的核函数有多项式核函数,高斯核函数,字符串核函数等。

综上所述,对于不可线性分割的数据集时,应该使用核函数进行映射处理,将原数据所在的欧式空间转为新数据所在的希尔伯特空间。通过映射后的新数据变得线性可分割,然后再使用之前线性支持向量机所使用的方法,找到最大的间隔,所对应的超平面即为最佳的分割,并且将核函数代入后,最终得到一个原空间的最佳分割的表达式。所以在实际比赛和项目中,需要首先观察数据的分布和构成,一般会先使用线性的支持向量机进行分割,当效果不好或者准确率不高时,可以使用核函数进行处理。由于支持向量机这种方法对于计算要求较高,但是其本身的分割效果其实还不错,初学者应该掌握内部的算法和思路,为后续学习深度学习打基础。

免责声明:本文来自互联网新闻客户端自媒体,不代表本网的观点和立场。

合作及投稿邮箱:E-mail:editor@tusaishared.com

上一篇:迭代列表不要For循环,这是Python列表推导式最基本的概念

下一篇:Python3数据类型之数字-Python入门到精通

用户评价
全部评价

热门资源

  • Python 爬虫(二)...

    所谓爬虫就是模拟客户端发送网络请求,获取网络响...

  • TensorFlow从1到2...

    原文第四篇中,我们介绍了官方的入门案例MNIST,功...

  • TensorFlow从1到2...

    “回归”这个词,既是Regression算法的名称,也代表...

  • 机器学习中的熵、...

    熵 (entropy) 这一词最初来源于热力学。1948年,克...

  • TensorFlow2.0(10...

    前面的博客中我们说过,在加载数据和预处理数据时...