网站加手机建设png图标,店铺logo设计免费,网站邮箱设置,设计师最常用的论坛1.什么是Adaboost AdaBoost#xff08;adapt boost#xff09;#xff0c;自适应推进算法#xff0c;属于Boosting方法的学习机制。是一种通过改变训练样本权重来学习多个弱分类器并进行线性结合的过程。它的自适应在于#xff1a;被前一个基本分类器误分类的样本的权值会…1.什么是Adaboost AdaBoostadapt boost自适应推进算法属于Boosting方法的学习机制。是一种通过改变训练样本权重来学习多个弱分类器并进行线性结合的过程。它的自适应在于被前一个基本分类器误分类的样本的权值会增大而正确分类的样本的权值会减小并再次用来训练下一个基本分类器。同时在每一轮迭代中加入一个新的弱分类器直到达到某个预定的足够小的错误率或预先指定的最大迭代次数再确定最后的强分类器。Adaboost主要解决的问题有: 两类问题、多类单标签问题、多类多标签问题、回归问题。 2.Adaboost算法流程
2-1 权值初始化 初始化训练数据的权值分布D1。假设有N个训练样本数据则每一个训练样本最开始时都会被赋予相同的权值w1 1/N。
2-2 训练弱分类器 训练弱分类器Ci。训练过程中提高被弱分类器错分样本的权值降低正分样本的权值作为下一轮基本分类器的训练样本。这样一来那些没有得到正确分类的数据由于其价值加大后收到后一轮弱分类器的更大关注于是分类问题被一系列弱分类器分而治之。具体训练过程如果某个训练样本点被弱分类器Ci准确地分类那么再构造下一个训练集中它对应的权值要减小相反如果某个训练样本点被错误分类那么它的权值就应该增大。权值的更新过的样本被用于训练下一个弱分类器整个过程如此迭代下去。 第一个分类器将三个蓝色样本错误分类到红色样本区域所以将蓝色样本的权值增大作为第二个分类器的训练数据。 第二个分类器将两个蓝色样本错误分类到红色样本区域同时也将一个红色样本错误分类到蓝色样本区域所以对应的蓝色样本和红色样本的权值增大作为第三个分类器的训练数据。 第三个分类器将经过前两个分类器后进行权值调整的数据再次训练并进行划分。 2-3 集成组合 将各个训练得到的弱分类器组合成一个强分类器。采取加权多数表决的方法误差率小的分类器的权值大使其在表决过程中起较大作用。 各个弱分类器的训练过程结束后加大分类误差率小的弱分类器的权重使其在最终的分类函数中起着较大的决定作用而降低分类误差率大的弱分类器的权重使其在最终的分类函数中起着较小的决定作用。误差率低的弱分类器在最终分类器中占的权重较大误差率高的弱分类器在最终分类器中占的权重较小。 3.Adaboost公式推导
3-1 Adaboost 公式 3-1 推导 4.Adaboost的优点和缺点
4-1 优点
1Adaboost提供一种框架在框架内可以使用各种方法构建子分类器。可以使用简单的弱分类器不用对特征进行筛选也不存在过拟合的现象。
2Adaboost算法不需要弱分类器的先验知识最后得到的强分类器的分类精度依赖于所有弱分类器。无论是应用于人造数据还是真实数据Adaboost都能显著的提高学习精度。
3Adaboost算法不需要预先知道弱分类器的错误率上限且最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度可以深挖分类器的能力。Adaboost可以根据弱分类器的反馈自适应地调整假定的错误率执行的效率高。
4Adaboost对同一个训练样本集训练不同的弱分类器按照一定的方法把这些弱分类器集合起来构造一个分类能力很强的强分类器即“三个臭皮匠赛过一个诸葛亮”。
4-2 缺点 在Adaboost训练过程中Adaboost会使得难于分类样本的权值呈指数增长训练将会过于偏向这类困难的样本导致Adaboost算法易受噪声干扰。此外Adaboost依赖于弱分类器而弱分类器的训练时间往往很长。
