手机网站制作公司,铁路建设单位网站,主流网站开发平台,瑞安网站建设步骤前面我们说了bagging算法和Boosting算法 接下来我们学习Adaboost算法
Adaboost基本概念#xff1a;
AdaBoost #xff08;Adaptive Boosting#xff0c;自适应提升#xff09;: 算法原理是将多个弱学习器进行合理的结合#xff0c;使其成为一个强学习器。
Adaboost采用…前面我们说了bagging算法和Boosting算法 接下来我们学习Adaboost算法
Adaboost基本概念
AdaBoost Adaptive Boosting自适应提升: 算法原理是将多个弱学习器进行合理的结合使其成为一个强学习器。
Adaboost采用迭代的思想继承了Boosting算法每次迭代只训练一个弱学习器训练好的弱学习器将参与下一次迭代。
也就是说在第N次迭代中一共有N个弱学习器其中N-1个是以前训练好的其各种参数都不会改变本次训练第N个学习器。
其中弱学习器的关系是第N个弱学习器更可能分对前N-1个弱学习器没分对的数据最终分类输出要看这N个分类器的综合效果。
Adaboost算法流程
初始化训练数据的权重分布。每个训练样本最初都被赋予相同的权重1/N其中N是训练样本的数量。
对于每一个弱分类器 a. 使用带权重的训练数据进行训练得到一个弱分类器。 b. 计算该弱分类器在训练数据上的错误率即被错误分类的样本权重之和除以所有样本权重之和。 c. 更新训练样本的权重降低正确分类样本的权重提高错误分类样本的权重。这样后续的弱分类器会更加关注那些被前一个弱分类器错误分类的样本。 d. 计算该弱分类器的权重即其错误率的对数值的相反数。错误率越低弱分类器的权重越高。
将所有弱分类器按照其权重进行加权求和得到最终的强分类器。
对于新的输入样本将其分别送入所有的弱分类器进行预测然后将各个弱分类器的预测结果按照其权重进行加权求和得到最终的预测结果。
Adaboost的工作方式:
弱分类器Adaboost不需要精确的预测模型而是使用简单的、准确率略高于随机猜测的弱分类器。这些弱分类器通常在训练数据的子集上训练得到并且可以是基于各种特征的简单决策规则或分类器。
权重更新在每一轮迭代中Adaboost根据当前弱分类器的表现调整训练样本的权重。分类错误的样本将获得更高的权重而正确分类的样本将获得较低的权重。这样后续的弱分类器将更加关注难以分类的样本。
弱分类器权重每个弱分类器都有一个权重该权重基于其在加权训练数据上的性能。错误率越低的弱分类器将获得更高的权重。
加权投票在最终的决策中每个弱分类器的预测结果将按其权重进行加权通过加权投票的方式得到最终的预测结果。这确保了性能较好的弱分类器对最终结果有更大的影响。
迭代过程Adaboost是一个迭代过程每一步都添加一个新的弱分类器并更新样本权重。这个过程持续进行直到达到最大迭代次数或者满足某个停止条件例如当错误率达到某个阈值以下时。
