瑞金网站建设光龙,在线制作diy电子印章,云南建站推广,网络设计毕设单变量回归问题
对于某房价问题#xff0c;x为房屋大小#xff0c;h即为预估房价#xff0c;模型公式为#xff1a; hθ(x)θ0θ1xh_{\theta}(x)\theta_{0}\theta_{1}x hθ(x)θ0θ1x 要利用训练集拟合该公式#xff08;主要是计算θ0、θ1\theta_{0}、\theta_{1}θ…单变量回归问题
对于某房价问题x为房屋大小h即为预估房价模型公式为 hθ(x)θ0θ1xh_{\theta}(x)\theta_{0}\theta_{1}x hθ(x)θ0θ1x 要利用训练集拟合该公式主要是计算θ0、θ1\theta_{0}、\theta_{1}θ0、θ1)需要代价函数计算当前模型和测试集数据的误差 J(θ0,θ1)12m∑i1m(hθ(x(i))−y(i))2J(\theta_{0},\theta_{1})\frac{1}{2m}\sum_{i1}^{m}{(h_{\theta}(x^{(i)})-y^{(i)})^2} J(θ0,θ1)2m1i1∑m(hθ(x(i))−y(i))2 当代价函数得到最小值时此时拟合的公式最好。一般利用梯度下降法来得到代价函数的局部全局最优解。批量梯度下降的公式为 θj:θj−α∂∂θjJ(θ0,θ1)(forj0andj1)\theta_{j}:\theta_{j}-\alpha\frac{\partial }{\partial \theta_{j}}J(\theta_{0},\theta_{1}) (for \quad j0\quad and \quad j1) θj:θj−α∂θj∂J(θ0,θ1)(forj0andj1)
∂∂θjJ(θ0,θ1)∂∂θj(12m∑i1m(hθ(x(i))−y(i))2)\frac{\partial }{\partial \theta_{j}}J(\theta_{0},\theta_{1})\frac{\partial }{\partial \theta_{j}}(\frac{1}{2m}\sum_{i1}^{m}{(h_{\theta}(x^{(i)})-y^{(i)})^2}) ∂θj∂J(θ0,θ1)∂θj∂(2m1i1∑m(hθ(x(i))−y(i))2)
j0时∂∂θ0J(θ0,θ1)1m∑i1m(hθ(x(i))−y(i))j0时\frac{\partial }{\partial \theta_{0}}J(\theta_{0},\theta_{1})\frac{1}{m}\sum_{i1}^{m}{(h_{\theta}(x^{(i)})-y^{(i)})} j0时∂θ0∂J(θ0,θ1)m1i1∑m(hθ(x(i))−y(i))
j1时∂∂θ1J(θ0,θ1)1m∑i1m(hθ(x(i))−y(i))⋅x(i)j1时\frac{\partial }{\partial \theta_{1}}J(\theta_{0},\theta_{1})\frac{1}{m}\sum_{i1}^{m}{(h_{\theta}(x^{(i)})-y^{(i)})\cdot x^{(i)}} j1时∂θ1∂J(θ0,θ1)m1i1∑m(hθ(x(i))−y(i))⋅x(i)
α\alphaα为学习率决定沿着代价函数下降程度最大的方向向下的步子有多大在批量梯度下降中我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。
如果α\alphaα太小了即我的学习速率太小需要很多步才能到达最低点可能会很慢 如果α\alphaα太大那么梯度下降法可能会越过最低点甚至可能无法收敛。
在梯度下降法中当我们接近局部最低点时梯度下降法会自动采取更小的幅度这是因为当我们接近局部最低点时很显然在局部最低时导数等于零所以当我们接近局部最低时导数值会自动变得越来越小所以梯度下降将自动采取较小的幅度这就是梯度下降的做法。所以实际上没有必要再另外减小α\alphaα。
