网站建设安全技术,手机端网站如何优化,wordpress手机管理,网站后台修改内容看不见了一、引入多维特征
在多维特征中#xff0c;我们考虑的不再是单一的特征#xff0c;而是一组特征#xff0c;例如房价模型中可能包括房间数、楼层等多个特征。这些特征将组成一个向量#xff0c;表示为(#x1d465;₁, #x1d465;₂, . . . , #x1d465;ₙ)#x…一、引入多维特征
在多维特征中我们考虑的不再是单一的特征而是一组特征例如房价模型中可能包括房间数、楼层等多个特征。这些特征将组成一个向量表示为(₁, ₂, . . . , ₙ)其中 代表特征的数量。每个特征都可以表示数据集中的不同属性。 对于每个训练实例我们使用向量表示特征如() [1416, 3, 2, 40]这里 ⱼ() 代表特征矩阵中第 行的第 个特征也就是第 个训练实例的第 个特征。
支持多变量的假设 ℎ 表示为
ℎ() ₀ ₁₁ ₂₂ . . . ₙₙ
在这个公式中有 1 个参数和 个变量。为了简化这个公式我们引入 ₀ 1这将使公式转化为
ℎ() ₀₀ ₁₁ ₂₂ . . . ₙₙ
这样模型中的参数是一个 1 维的向量每个训练实例也都是一个 1 维的向量特征矩阵 的维度是 × ( 1)。 二、多变量梯度下降
与单变量线性回归类似多变量线性回归中也需要构建代价函数。代价函数表示为所有建模误差的平方和
(₀, ₁, . . . ₙ) 1/2 ∑ (ℎ(()) - ())², 其中 ℎ() ₀ ₁₁ ₂₂ . . . ₙₙ
我们的目标仍然是找出使代价函数最小化的一系列参数。多变量线性回归的批量梯度下降算法为 不断迭代更新参数₀, ₁, . . . , ₙ直到收敛。
三、特征缩放
在处理多维特征问题时确保所有特征具有相近的尺度是非常重要的。如果特征的尺度差异太大会导致梯度下降算法收敛缓慢。通常我们将所有特征的尺度缩放到 -1 到 1 之间这有助于加速梯度下降的收敛。 最简单的方法是将每个特征缩放为
ₙ (ₙ - ₙ) / ₙ
其中 ₙ 是特征的均值ₙ 是标准差。这样所有特征都具有相似的尺度有助于算法更快地收敛。 四、学习率
梯度下降算法的学习率learning rate是一个关键的超参数对于算法的性能和收敛速度具有重要影响。学习率决定了每次参数更新的步长过小的学习率可能导致算法收敛得非常慢而过大的学习率可能使得算法无法收敛。 小学习率例如 0.01 或 0.03这些学习率通常使算法非常稳定但可能需要更多的迭代才能收敛到最佳解。 适中的学习率例如 0.1 或 0.3这些学习率通常是一个好的起点可以使算法在相对较少的迭代次数内收敛到较好的解。 大学习率例如 1、3 或 10这些学习率可能使算法在较少的迭代次数内快速收敛但如果学习率过大可能会导致算法不收敛甚至发散。
通常选择合适的学习率需要进行试验和调整。可以开始尝试中等大小的学习率然后根据算法的表现逐渐调整。同时可以使用学习率衰减策略随着迭代次数的增加逐渐减小学习率以平衡速度和稳定性。 五、特征与多项式回归
在某些情况下线性回归模型可能无法很好地拟合数据因为数据的关系不是线性的。多项式回归是一种技术用于处理这些情况。它允许引入更高次的特征以拟合数据的曲线形状。 多项式回归模型这是线性回归的一种扩展允许使用多项式函数来拟合数据。模型的形式可以是像这样的方程ℎ() ₀ ₁₁ ₂₂ . . . ₙₙ其中 n 是多项式的次数。 特征变换除了多项式回归特征变换也是一种方法。通过对原始特征进行变换例如取对数、开方、指数等可以使问题更适合线性回归模型。这样的变换可以将非线性关系转化为线性关系。
在实际应用中选择多项式次数或特征变换的方法需要根据数据的特点进行试验和调整。通常我们会观察数据的分布和关系然后根据需要决定是否采用多项式回归或特征变换以获得更好的拟合结果。 参考资料
[中英字幕]吴恩达机器学习系列课程
黄海广博士 - 吴恩达机器学习个人笔记
