上海做网站哪家公司,海南房产网站开发,东台网站设计,wordpress分享按钮对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内。最常用的方法有以下两种#xff1a;
#xff08;1#xff09;线性函数归一化#xff08;Min-Max Scaling#xff09;
它对原始数据进行线性变换#xff0c;使结果映射到【0,1】的范围…对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内。最常用的方法有以下两种
1线性函数归一化Min-Max Scaling
它对原始数据进行线性变换使结果映射到【0,1】的范围实现对数据的等比放缩。归一化公式如下 其中为原始数据和分别为数据最大值和最小值。
2零均值归一化Z-Score Normalization 它会将原始数据映射到均值为0标准差为1的分布上。具体来说假设原始特征的均值为、标准差为那么归一化公式定义为 为什么需要对数值型特征做归一化呢我们不妨借助随机梯度下降的实例来说明归一化的重要性。假设有两种数值型特征的取值范围为【0,10】的取值范围为【0,3】于是可以构造一个目标函数符合图1.1a中的等值图。 在学习速率相同的情况下的更新速度会大于需要较多的迭代才能找到最优解。如果将和归一化到相同的数值区间后优化目标的等值图会变成图1.1b中的圆形。 和的更新速度变得更为一致容易更快地通过梯度下降找到最优解。
当然数据归一化并不是万能的。在实际应用中通过梯度下降法求解的模型通常是需要归一化的包括线性回归、逻辑回归、支持向量机、神经网络等模型。但对于决策树模型则并不适用以C4.5为例决策树在进行节点分裂时主要依据数据集关于特征的信息增益比而信息增益比跟特征是否归一化是无关的因为归一化并不会改变样本在特征上的信息增益。
