天津网站建设优选企业,专业的网站制作中心,中山网站制作服务,做网站公司 衡阳公司激活函数总结#xff08;三十四#xff09;#xff1a;激活函数补充 1 引言2 激活函数2.1 FReLU激活函数2.2 CReLU激活函数 3. 总结 1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Sof… 激活函数总结三十四激活函数补充 1 引言2 激活函数2.1 FReLU激活函数2.2 CReLU激活函数 3. 总结 1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign、ELiSH、Hard ELiSH、Serf、FReLU、QReLU、m-QReLU)。在这篇文章中会接着上文提到的众多激活函数继续进行介绍给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图
2 激活函数
2.1 FReLU激活函数
论文链接Funnel Activation for Visual Recognition
FReLUFunnel activation是一种概念简单但有效的漏斗激活函数。它通过添加可忽略不计的空间条件开销将ReLU和PReLU扩展到2D激活。其数学表达式和数学图像分别如下所示 F R e L U m a x ( x T ( x ) ) FReLU max(xT(x)) FReLUmax(xT(x)) 其中 T ( x ) T(x) T(x) 是 2D 空间条件代表简单高效的空间上下文特征提取器。
FReLU是专门为视觉任务而设计的概念上很简单ReLU的条件是一个手工设计的零值PReLU的条件是一个参数化的px对此FReLU将其修改为一个依赖于空间上下文的二维漏斗状条件视觉条件有助于提取物体的精细空间布局。
特点
漏斗条件funnel conditionFReLU函数采用与简单非线性函数相同的max(·)。对于条件部分FReLU将其扩展为二维条件具体取决于每个像素的空间上下文。这与其他最近的方法不同其他方法的条件通常取决于像素本身或通道上下文。然后使用max(·)获得x和条件之间的最大值。作者将 funnel condition定义为T(x)。为了实现空间条件spatial condition使用参数化池窗口Parametric Pooling Window来创建空间依赖性使用高度优化的深度可分离卷积算符和BN层来实现像素化建模能力funnel条件的定义使得网络可以在每个像素的非线性激活中产生空间条件。该网络同时进行非线性变换并产生空间依赖性而通常的做法是在卷积层创建空间依赖性并分别进行非线性变换。在通常做法下激活过程不明确地依赖于空间条件而在funnel条件的情况下它们依赖于空间条件。因此pixel-wise condition使得网络具有像素化的建模能力函数max(·)给每个像素提供了一个看空间背景或不看空间背景的选择。
在图像方面具有极好的效果在图像方面广泛使用。甚至当前较多的Yolo系列的更新算法都使用的是该激活函数。。。
2.2 CReLU激活函数
论文链接Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units
CReLUConcatenated Rectified Linear Units是Shang et al. 在2016年提出的一种激活函数可保留正相位和负相位信息同时强制执行非饱和非线性。其数学表达式和数学图像分别如下所示 C R e L U ( x ) [ ReLU ( x ) , ReLU ( − x ) ] CReLU(x) \left[\text{ReLU}\left(x\right), \text{ReLU}\left(-x\right)\right] CReLU(x)[ReLU(x),ReLU(−x)] 特点
减少CNN中的冗余CNN 中底层的卷积层的一些滤波器之间存在着负相关, 也就是说滤波器存在冗余。为了减少这种冗余提出了使用CReLU激活函数。
CReLU激活函数在PVANET中有所应用别的地方几乎没有出现。。。。
3. 总结
到此使用 激活函数总结三十四 已经介绍完毕了 如果有什么疑问欢迎在评论区提出对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出后续会对其进行添加
如果觉得这篇文章对你有用记得点赞、收藏并分享给你的小伙伴们哦。
