小型网站开发时间周期,网站后台 源码,网站建设营销话术,插件功能wordpress1. 概念简述 线性回归是通过一个或多个自变量与因变量之间进行建模的回归分析#xff0c;其特点为一个或多个称为回归系数的模型参数的线性组合。如下图所示#xff0c;样本点为历史数据#xff0c;回归曲线要能最贴切的模拟样本点的趋势#xff0c;将误差降到最小。 2. 线…1. 概念简述 线性回归是通过一个或多个自变量与因变量之间进行建模的回归分析其特点为一个或多个称为回归系数的模型参数的线性组合。如下图所示样本点为历史数据回归曲线要能最贴切的模拟样本点的趋势将误差降到最小。 2. 线性回归方程 线形回归方程就是有 n 个特征然后每个特征 Xi 都有相应的系数 Wi 并且在所有特征值为0的情况下目标值有一个默认值 W0 因此
线性回归方程为 整合后的公式为 3. 损失函数 损失函数是一个贯穿整个机器学习的一个重要概念大部分机器学习算法都有误差我们需要通过显性的公式来描述这个误差并将这个误差优化到最小值。假设现在真实的值为 y预测的值为 h 。
损失函数公式为 也就是所有误差和的平方。损失函数值越小说明误差越小这个损失函数也称最小二乘法。 4. 损失函数推导过程
4.1 公式转换
首先我们有一个线性回归方程 为了方便计算计算我们将线性回归方程转换成两个矩阵相乘的形式将原式的 后面乘一个
此时的 x01因此将线性回归方程转变成 其中 和 可以写成矩阵 4.2 误差公式
以上求得的只是一个预测的值而不是真实的值他们之间肯定会存在误差因此会有以下公式 我们需要找出真实值 与预测值 之间的最小误差 使预测值和真实值的差距最小。将这个公式转换成寻找不同的 使误差达到最小。 4.3 转化为 求解
由于 既存在正数也存在负数所以可以简单的把这个数据集看作是一个服从均值 方差为 的正态分布。
所以 出现的概率满足概率密度函数 把 代入到以上的高斯分布函数即正态分布中变成以下式子 到此我们将对误差 的求解转换成对 的求解了。
在求解这个公式时我们要得到的是误差 最小也就是求概率 最大的。因为误差 满足正态分布因此在正太曲线中央高峰部的概率 是最大的此时标准差为0误差是最小的。
尽管在生活中标准差肯定是不为0的没关系我们只需要去找到误差值出现的概率最大的点。现在问题就变成了怎么去找误差出现概率最大的点只要找到那我们就能求出 4.4 似然函数求
似然函数的主要作用是在已经知道变量 x 的情况下调整 使概率 y 的值最大。
似然函数理解
以抛硬币为例正常情况硬币出现正反面的概率都是0.5假设你在不确定这枚硬币的材质、重量分布的情况下需要判断其是否真的是均匀分布。在这里我们假设这枚硬币有 的概率会正面朝上有 的概率会反面朝上。
为了获得 的值将硬币抛10次H为正面T为反面得到一个正反序列 x HHTTHTHHHH此次实验满足二项分布这个序列出现的概率为我们根据一次简单的二项分布实验得到了一个关于 的函数这实际上是一个似然函数根据不同的 值绘制一条曲线曲线就是的似然函数y轴是这一现象出现的概率。
从图中可见当 等于 0.7 时该序列出现的概率是最大的因此我们确定该硬币正面朝上的概率是0.7。 因此回到正题我们要求的是误差出现概率 的最大值那就做很多次实验对误差出现概率累乘得出似然函数带入不同的 看是多少时出现的概率是最大的即可确定的值。
综上我们得出求 的似然函数为 4.5 对数似然
由于上述的累乘的方法不太方便我们去求解 我们可以转换成对数似然将以上公式放到对数中然后就可以转换成一个加法运算。取对数以后会改变结果值但不会改变结果的大小顺序。我们只关心等于什么的时候似然函数有最大值不用管最大值是多少即不是求极值而是求极值点。注此处log的底数为e。
对数似然公式如下 对以上公式化简得 4.6 损失函数
我们需要把上面那个式子求得最大值然后再获取最大值时的 值。 而上式中 是一个常数项所以我们只需要把减号后面那个式子变得最小就可以了而减号后面那个部分可以把常数项 去掉因此我们得到最终的损失函数如下现在只需要求损失函数的最小值。 注保留 是为了后期求偏导数。
损失函数越小说明预测值越接近真实值这个损失函数也叫最小二乘法。 5. 梯度下降
损失函数中 xi 和 yi 都是给定的值能调整的只有 如果随机的调整数据量很大会花费很长时间每次调整都不清楚我调整的是高了还是低了。我们需要根据指定的路径去调节每次调节一个范围就减少一点有目标有计划去调节。梯度下降相当于是去找到一条路径让我们去调整。
梯度下降的通俗理解就是把对以上损失函数最小值的求解比喻成梯子然后不断地下降直到找到最低的值。
5.1 批量梯度下降BGD
批量梯度下降是在每次求解过程中把所有数据都进行考察因此损失函数因该要在原来的损失函数的基础之上加上一个m数据量来求平均值 因为现在针对所有的数据做了一次损失函数的求解比如我现在对100万条数据都做了损失函数的求解数据量结果太大除以数据量100万求损失函数的平均值。
然后我们需要去求一个点的方向也就是去求它的斜率。对这个点求导数就是它的斜率因此我们只需要求出 的导数就知道它要往哪个方向下降了。它的方向先对所有分支方向求导再找出它们的合方向。 的导数为 由于导数的方向是上升的现在我们需要梯度下降因此在上式前面加一个负号就得到了下降方向而下降是在当前点的基础上下降的。
批量梯度下降法下降后的点为 新点是在原点的基础上往下走一点点斜率表示梯度下降的方向 表示要下降多少。由于不同点的斜率是不一样的以此循环找到最低点。
批量梯度下降的特点每次向下走一点点都需要将所有的点拿来运算如果数据量大非常耗时间。 5.2 随机梯度下降SGD
随机梯度下降是通过每个样本来迭代更新一次。对比批量梯度下降迭代一次需要用到所有的样本一次迭代不可能最优如果迭代10次就需要遍历整个样本10次。SGD每次取一个点来计算下降方向。但是随机梯度下降的噪音比批量梯度下降要多使得随机梯度下降并不是每次迭代都向着整体最优化方向。
随机梯度下降法下降后的点为 每次随机一个点计算不需要把所有点拿来求平均值梯度下降路径弯弯曲曲趋势不太好。 5.3 mini-batch 小批量梯度下降MBGO
我们从上面两个梯度下降方法中可以看出他们各自有优缺点。小批量梯度下降法在这两种方法中取得了一个折衷算法的训练过程比较快而且也要保证最终参数训练的准确率。
假设现在有10万条数据MBGO一次性拿几百几千条数据来计算能保证大体方向上还是下降的。
小批量梯度下降法下降后的点为 用来表示学习速率即每次下降多少。已经求出斜率了但是往下走多少合适呢值需要去调节太大的话下降方向会偏离整体方向太小会导致学习效率很慢。
