空间代码网站,有经验的南昌网站设计,济南网站建设销售招聘,阻止wordpress更新目录 1.摘要2.算法原理3.结果展示4.参考文献5.获取代码 1.摘要
本文提出了一种新型的元启发式优化算法——梯度优化器#xff08;Gradient-based Optimizer, GBO#xff09;。GBO算法灵感来源于牛顿法#xff0c;采用两个主要操作#xff1a;梯度搜索规则#xff08;Grad… 目录 1.摘要2.算法原理3.结果展示4.参考文献5.获取代码 1.摘要
本文提出了一种新型的元启发式优化算法——梯度优化器Gradient-based Optimizer, GBO。GBO算法灵感来源于牛顿法采用两个主要操作梯度搜索规则Gradient Search Rule, GSR和局部逃逸操作算子Local Escaping Operator, LEO通过一组向量来探索搜索空间。GSR利用基于梯度的方法增强探索倾向并加速收敛速度以实现更优的搜索空间定位LEO则帮助GBO逃离局部最优解。
2.算法原理
梯度搜索规则GSR
在梯度搜索规则GSR中GBO算法通过控制向量的移动可以在可行域内更有效地搜索并寻找到更优的位置。考虑到许多优化问题不可微分因此采用数值梯度方法。为了根据方程推导GSR需要使用泰勒级数来计算函数的一阶导数 f ( x Δ x ) 0 f ( x ) f ′ ( x 0 ) Δ x f ′ ′ ( x 0 ) Δ x 2 2 ! f ( 3 ) ( x 0 ) Δ x 3 3 ! ⋯ f ( x − Δ x ) f ( x ) − f ′ ( x 0 ) Δ x f ′ ′ ( x 0 ) Δ x 2 2 ! − f ( 3 ) ( x 0 ) Δ x 3 3 ! ⋯ \begin{gathered} f(x\Delta x)0f(x)f^{^{\prime}}(x_0)\Delta x\frac{f^{^{\prime\prime}}(x_0)\Delta x^2}{2!}\frac{f^{^{(3)}}(x_0)\Delta x^3}{3!}\cdots \\ f(x-\Delta x)f(x)-f^{^{\prime}}(x_{0})\Delta x\frac{f^{^{\prime\prime}}(x_{0})\Delta x^{2}}{2!}-\frac{f^{^{(3)}}(x_{0})\Delta x^{3}}{3!}\cdots \end{gathered} f(xΔx)0f(x)f′(x0)Δx2!f′′(x0)Δx23!f(3)(x0)Δx3⋯f(x−Δx)f(x)−f′(x0)Δx2!f′′(x0)Δx2−3!f(3)(x0)Δx3⋯ 一阶导数的中心差分形式 f ′ ( x ) f ( x Δ x ) − f ( x − Δ x ) 2 Δ x f^{^{\prime}}(x)\frac{f(x\Delta x)-f(x-\Delta x)}{2\Delta x} f′(x)2Δxf(xΔx)−f(x−Δx) 整理为迭代形式 x n 1 x n − 2 Δ x × f ( x n ) f ( x n Δ x ) − f ( x n − Δ x ) x_{n1}x_n-\frac{2\Delta x\times f(x_n)}{f(x_n\Delta x)-f(x_n-\Delta x)} xn1xn−f(xnΔx)−f(xn−Δx)2Δx×f(xn) x n x_n xn的邻近位置是 x n Δ x x_n\Delta x xnΔx和 x n − Δ x x_n-\Delta x xn−Δx在GBO算法中这些邻近位置被种群中的另外两个位置(向量)所替代。由于 f ( x ) f(x) f(x)是一个最小化问题位置 x n Δ x x_n\Delta x xnΔx的适应度比 x n x_n xn差而 x n − Δ x x_n-\Delta x xn−Δx比 x n x_n xn好。因此GBO算法用更好的位置 x b e s t x_{best} xbest,即 x n x_n xn邻域内的位置 替换 x n − Δ x x_n-\Delta x xn−Δx用较差的位置 x w o r s t x_{worst} xworst代替 x n x_n xn邻域内的较差位置替换 x n Δ x x_n\Delta x xnΔx。此外提出的算法使用位置 x n x_n xn而非其适应度 f ( x n ) f(x_n) f(xn): G S R r a n d n × 2 Δ x × x n ( x w o r s t − x b e s t ε ) GSRrandn\times\frac{2\Delta x\times x_{n}}{(x_{\mathrm{worst}}-x_{best}\varepsilon)} GSRrandn×(xworst−xbestε)2Δx×xn
在提出的GBO算法中梯度搜索规则GSR考虑了优化过程中的随机行为以促进探索和逃离局部最优 Δ x r a n d ( 1 : N ) × ∣ s t e p ∣ s t e p ( x b e s t − x r 1 m ) δ 2 δ 2 × r a n d × ( ∣ x r 1 m x r 2 m x r 3 m x r 4 m 4 − x n m ∣ ) \begin{aligned} \Delta xrand(1:N)\times|step| \\ step\frac{(x_{best}-x_{r1}^{m})\delta}{2} \\ \delta2\times rand\times\left(\left|\frac{x_{r1}^{m}x_{r2}^{m}x_{r3}^{m}x_{r4}^{m}}{4}-x_{n}^{m}\right|\right) \end{aligned} Δxrand(1:N)×∣step∣step2(xbest−xr1m)δδ2×rand×( 4xr1mxr2mxr3mxr4m−xnm )
为了更有效地利用 x n x_n xn附近的区域GBO算法中引入了移动方向(DM)。这一机制通过使用最佳向量 x b e s t x_{best} xbest,并将当前向量 x n x_n xn向 ( x b e s t − x n ) (x_{best}-x_n) (xbest−xn)方向移动来操作。这样的设计不仅加强了局部搜索的能力还有助于提升算法的收敛速度从而使GBO算法在寻找最优解的讨程中更加高效 D M r a n d × ρ 2 × ( x b e s t − x n ) DMrand\times\rho_{2}\times(x_{best}-x_{n}) DMrand×ρ2×(xbest−xn)
因此位置更新为 X 1 n m X n m − G S R D M X 1 n m x n m − r a n d n × ρ 1 × 2 Δ x × x n m ( x w o r s t − x b e s t ε ) r a n d × ρ 2 × ( x b e s t − x n m ) \begin{aligned} X\mathbf{1}_{n}^{m}X_n^m-GSRDM \\ X\mathbf{1}_{n}^{m}x_n^m-randn\times\rho_1\times\frac{2\Delta x\times x_n^m}{(x_{\mathrm{worst}}-x_{\mathrm{best}}\varepsilon)}rand\times\rho_2\times(x_{\mathrm{best}}-x_n^m) \end{aligned} X1nmXnm−GSRDMX1nmxnm−randn×ρ1×(xworst−xbestε)2Δx×xnmrand×ρ2×(xbest−xnm)
局部逃逸操作算子LEO 为了增强GBO算法解决复杂问题的效率引入了局部逃逸操作算子(LEO)。LEO通过整合多个解决方案来显著改变解的位置这些方案包括最佳位置 x b e s t x_{best} xbest,两个随机解 x m r 1 x_{mr1} xmr1和 x m r 2 x_{mr2} xmr2,以及一个新生成的随机解 x m k x_{mk} xmk x k m L 2 × x p m ( 1 − L 2 ) × x r a n d x_{k}^{m}L_{2}\times x_{p}^{m}(1-L_{2})\times x_{rand} xkmL2×xpm(1−L2)×xrand 伪代码 3.结果展示 4.参考文献
[1] Ahmadianfar I, Bozorg-Haddad O, Chu X. Gradient-based optimizer: A new metaheuristic optimization algorithm[J]. Information Sciences, 2020, 540: 131-159.
5.获取代码
