网站开发讲座,一个网站推广,成都网站快速排名优化,网站建设代码模板问题预览/关键词
本节内容梯度下降更新w的公式梯度下降更新b的公式的含义α的含义为什么要控制梯度下降的幅度#xff1f;导数项的含义为什么要控制梯度下降的方向#xff1f;梯度下降何时结束#xff1f;梯度下降算法收敛的含义正确更新梯度下降的顺序错误更新梯度下降的顺…问题预览/关键词
本节内容梯度下降更新w的公式梯度下降更新b的公式的含义α的含义为什么要控制梯度下降的幅度导数项的含义为什么要控制梯度下降的方向梯度下降何时结束梯度下降算法收敛的含义正确更新梯度下降的顺序错误更新梯度下降的顺序
笔记
1.本节内容
如何实现梯度下降算法
2.梯度下降更新w的公式 3.梯度下降更新b的公式 4.的含义
表示计算机中的赋值操作不能理解成数学中的等于操作。
5.α的含义
希腊字母表示学习率通常为0-1之间很小的数如0.01。它用来控制梯度下降的幅度。α越大下降的步子越大。α很小则一点点向下走。
6.为什么要控制梯度下降的幅度
控制梯度下降的幅度学习率过高下降幅度太大无法下降到最低点学习率过低下降幅度太小影响算法性能。
如何选择合适的α4.4课节会详细说明。
7.导数项的含义
用来控制梯度下降的方向。
计算J关于w的偏导数 计算J关于b的偏导数。
8.为什么要控制梯度下降的方向
只有控制方向才能尽快的到达函数的局部或全局最小值。 为什么求导能控制方向4.3课节会详细说明。 导数如何计算4.5课节会详细说明。
9.梯度下降何时结束
不断更新w和b直到算法收敛梯度下降就可以停止了。
自行设置停止条件在第一周lab_05实验代码设置迭代10000次后自动停止。
10.梯度下降算法收敛
优化过程中算法逐步逼近问题的最优解或局部最优解。在线性回归中表示梯度下降更新的w和b已经达到成本函数J的局部最小值此时wb不怎么改变了。
11.更新梯度下降的正确顺序
先用旧的w和b计算计算完成在更新w和b即同步更新。
12.更新梯度下降的错误顺序
计算w然后更新w导致计算b的过程里使用了新的w旧的w被忽略了导致wb没有同步更新。
总结
梯度下降的具体操作是要更新wb公式为计算学习率乘以J关于w或b的偏导数然后将结果赋值给新的w和b一直重复上述过程直到wb的值不怎么改变了。公式中的符号表示赋值操作α学习率控制梯度下降的步幅导数项控制梯度下降的方向。在更新wb的时候我们要做到同步更新。先计算旧的wb然后将结果更新给新的wb。
