莆田的外贸网站,浏览器里的广告怎么推广的,网站商城建设如何避免内部竞争,班级网站做哪些方面文章目录 1. 如何训练回归问题2. 泛化能力3. 误差来源4. 正则化5. 交叉验证 1. 如何训练回归问题
第一步#xff1a;定义模型
线性模型#xff1a; y ^ b ∑ j w j x j \hat{y} b \sum_{j} w_j x_j y^b∑jwjxj 其中#xff0c;( w ) 是权重#xff0c;( b )… 文章目录 1. 如何训练回归问题2. 泛化能力3. 误差来源4. 正则化5. 交叉验证 1. 如何训练回归问题
第一步定义模型
线性模型 y ^ b ∑ j w j x j \hat{y} b \sum_{j} w_j x_j y^b∑jwjxj 其中( w ) 是权重( b ) 是偏差。
第二步确定损失函数
损失函数实际值和预测值的差平方和 L ∑ i 1 n ( y ^ i − ( b ∑ j w j x i j ) ) 2 L \sum_{i1}^{n} (\hat{y}_i - (b \sum_{j} w_j x_{ij}))^2 Li1∑n(y^i−(bj∑wjxij))2
第三步寻找最好的函数
目的
找到最好的函数目的是找到参数 ( w ) 和 ( b ) 使损失函数最小。
方法
梯度下降法 计算当前参数 ( w ) 和 ( b ) 的梯度。分别对 ( w ) 和 ( b ) 计算偏导数。更新参数 w ′ w − η ⋅ ∂ L ∂ w , b ′ b − η ⋅ ∂ L ∂ b w w - \eta \cdot \frac{\partial L}{\partial w}, \quad b b - \eta \cdot \frac{\partial L}{\partial b} w′w−η⋅∂w∂L,b′b−η⋅∂b∂L 其中 η \eta η 是学习率。
说明
线性模型没有局部最优解但学习率选择会影响参数是否能跨过最优解。 2. 泛化能力
欠拟合
概念没有训练到位训练结果和测试结果都不好。原因迭代次数少模型过于简单。解决方法引入新参数提高模型复杂度。特点偏差大方差小。
过拟合
概念训练结果很好但测试结果不好。原因为了迎合训练数据引入高次项导致模型过于复杂曲线变得过于曲折。 权重影响模型的平滑度方法影响的是上下平移。 解决方法 增加训练数据复杂模型更容易找到最好的函数。人工降维减少模型复杂度。引入正则化参数减小权重使曲线平滑。使用 Dropout 和 Early Stop 等技术。 特点偏差小方差大。 3. 误差来源
方差Variance
定义训练结果与训练结果平均值之间的方差。描述反映了模型的抗扰动能力训练结果的分散程度。
偏差Bias
定义训练结果与真实值的偏差。描述刻画了模型的拟合能力训练结果偏离正确结果的程度。
总结
模型简单 Function set 小 → 方差小 → 偏差大 → 曲线平滑 → 欠拟合 → 通过调整模型复杂度解决。 模型复杂 Function set 大 → 方差大 → 偏差小 → 曲线陡峭 → 过拟合 → 通过正则化解决。 4. 正则化
目的
在最小化损失函数的同时减小权重的值。权重越小曲线越平滑输入变化对结果的影响较小。控制权重的更新减小模型复杂度。
实现方法
在损失函数中加入正则化项 L reg L λ ∑ i w i 2 L_{\text{reg}} L \lambda \sum_{i} w_i^2 LregLλ∑iwi2其中 λ \lambda λ 是正则化参数控制权重的大小因为要最小化Loss所以权重也会被最小化
5. 交叉验证
定义
交叉验证划分训练集和测试集模拟测试结果的不可预测性避免过拟合。
目的
使用验证集验证训练结果并根据验证结果调整模型确保泛化能力。
步骤
将数据划分为训练集和验证集。使用验证集模拟测试集验证训练结果。根据验证集上的表现调整模型。使用整个训练集重新训练模型得到最终的模型。
注意
验证集调整后不应根据测试集的结果再做调整即便你忍不住。
