网站推广软文选天天软文,wordpress站群教程,wordpress作作品集,网络营销案例及分析概况
最小二乘法其实就是为数据(二维)拟合出一条直线#xff0c;为(三维)数据拟合出一个面。来最大程度的是我们的样本点落在该直线上。 使得我们找到一条直线使所以的样本点尽可能靠近该直线#xff0c;即每个样本点到直线的距离最短。
YWXB#xff0c;W是权重#xff0…概况
最小二乘法其实就是为数据(二维)拟合出一条直线为(三维)数据拟合出一个面。来最大程度的是我们的样本点落在该直线上。 使得我们找到一条直线使所以的样本点尽可能靠近该直线即每个样本点到直线的距离最短。
YWXBW是权重B是偏移量。 损失函数 L ( w ) ∑ i 1 m ∣ ∣ w T x i − y i ∣ ∣ 2 L(w)\sum_{i1}^m||w^Tx_i-y_i||^2 L(w)i1∑m∣∣wTxi−yi∣∣2 ∑ i 1 m ( w T x i − y i ) 2 \sum_{i1}^m(w^Tx_i-y_i)^2 i1∑m(wTxi−yi)2 [ W T X T − Y t ] [ X W − Y ] [W^TX^T-Y^t][XW-Y] [WTXT−Yt][XW−Y] W T X T X W − Y T X W − W T X T Y Y T Y W^TX^TXW-Y^TXW-W^TX^TYY^TY WTXTXW−YTXW−WTXTYYTY W T X T X W − 2 W T X T Y Y T Y W^TX^TXW-2W^TX^TYY^TY WTXTXW−2WTXTYYTY 为什么 Y T X W Y^TXW YTXW和 W T X T Y W^TX^TY WTXTY是相等的因为 Y T Y^T YT的维度是(1,n), X X X的维度是(n,n), W W W的维度是(n,1)所以 Y T X W Y^TXW YTXW的维度是(11)也就是一个常数值。而 W T W^T WT的维度为(1n), X T X^T XT的维度为(n,n) Y Y Y的维度为(n,1)。 W T X T Y W^TX^TY WTXTY的维度为(11)所以都是常数所以转置不转置不影响数值的值。所以是相等的。 因为我们采用的是最小二乘估计所以这里希望损失函数最小所以求取函数导数为0的点就是我们的最优解因为这里是二次函数所以导数为0的点就是最值点。 最优解为 w ∗ w^* w∗ w ∗ a r g m i n w L ( w ) w^*argmin_wL(w) w∗argminwL(w) 对其求导并令其导数为0. 导数 2 X T X W − 2 X T Y 0 导数2X^TXW-2X^TY0 导数2XTXW−2XTY0 具体过程是 d L ( w ) d ( W T X T X W − 2 W T X T Y Y T Y ) dL(w)d(W^TX^TXW-2W^TX^TYY^TY) dL(w)d(WTXTXW−2WTXTYYTY) d ( W T ) X T X W − 2 d ( W T ) X T Y W T X T X d ( W ) d(W^T)X^TXW-2d(W^T)X^TYW^TX^TXd(W) d(WT)XTXW−2d(WT)XTYWTXTXd(W) X T X W d ( W ) − 2 X T Y d ( W ) W T X T X d ( W ) X^TXWd(W)-2X^TYd(W)W^TX^TXd(W) XTXWd(W)−2XTYd(W)WTXTXd(W) 即 2 X T X W − 2 X T Y 0 2X^TXW-2X^TY0 2XTXW−2XTY0 w ∗ ( X T X ) − 1 X T Y w^*(X^TX)^{-1}X^TY w∗(XTX)−1XTY 然后我们可以构造决策函数 f ( x ) ( w ∗ ) T x f(x)(w^*)^Tx f(x)(w∗)Tx
