网站大全网址大全,广胜达建设集团网站,同性男做的视频网站,郑州做网站大量网站被关背景
在机器学习中#xff0c;主要解决分类任务或回归任务#xff0c;在这两者中#xff0c;分类任务更为常见。
分类任务又分为线性#xff08;linear#xff09;分类和非线性#xff08;nonlinear#xff09;分类#xff0c;本文主要介绍线性分类和非线性分类的区别…背景
在机器学习中主要解决分类任务或回归任务在这两者中分类任务更为常见。
分类任务又分为线性linear分类和非线性nonlinear分类本文主要介绍线性分类和非线性分类的区别。
区别 先放一张比较直观的图来源见水印左侧为非线性分类器右侧为线性分类器。
即非线性分类器是求出左边这个曲线的表达式线性分类器是求出右边这个直线的表达式。
线性分类器
线性分类器使用线性的函数表达式对样本进行分类即划分边界为一个超平面如在二维空间中使用一条直线划分样本在三维空间中使用一个平面来划分样本。线性分类器的常用表达式为 其中 w j w_j wj 代表权重向量而 x j x_j xj 代表样本特征向量 w j ⋅ x j w_j·x_j wj⋅xj即为特征向量的线性组合。 f ( ⋅ ) f(·) f(⋅)为一个简单的判别函数通常是设定一个阈值当 ∑ w j ⋅ x j \sum w_j·x_j ∑wj⋅xj大于该阈值时判定样本属于某一类否则判定样本属于另一类。选择不同的权重向量和阈值可以得到不同的分类超平面如下面第一张图中的不同分类曲线。 常见的线性分类器有线性回归分类器贝叶斯分类单层感知机SVM线性核等。
非线性分类器
为克服线性函数分类效果不足的问题非线性分类器中引入了非线性函数来提升分类效果。非线性分类器用一个曲面或者多个超平曲面的组合将两组样本隔离开。一个典型的非线性分类器就是决策树它的主要思想就是用多个线性分类器的组合来将两组样本隔离开。 决策树采用非常直观的方式来对样本进行分类你只需要针对样本的特征问一系列问题就能将各样本分离开来。例如当你想建立决策树来判断一个动物的种类时可以询问以下问题
其中对于每个问题的回答都相当于一个线性分类器判定某一特征值是否超过某个阈值对这一系列的问题的回答就是对线性分类器的组合最终形成的分界面也是一些超平面的组合。 常见的非线性分类器包括决策树、随机森林、GBDT、SVM非线性核、多层感知机等。
很多的情况下样本是线性不可分的这时可以通过升维的方法来解决。大致思路如下图所示 非线性分类器由于其更加多样化的表达形式可以有更好的拟合效果但这也导致他的设计和训练难度加大而且当特征维度较低时采用非线性分类器可能会产生过拟合的问题。
借鉴 作者Momodel 链接https://www.zhihu.com/question/30633734/answer/1495493437 来源知乎
