网站建设 运维 管理包括哪些,wordpress+信息流,WordPress如何调用,购买域名和服务器多少钱本篇文章从外行工科的角度尽量详细剖析激活函数#xff0c;希望不吝指教#xff01; 学习过程如下#xff0c;先知道这个东西是什么#xff0c;有什么用处#xff0c;以及怎么使用它#xff1a;
1. 为什么使用激活函数
2. 激活函数总类及优缺点
3. 如何选择激活函数
…本篇文章从外行工科的角度尽量详细剖析激活函数希望不吝指教 学习过程如下先知道这个东西是什么有什么用处以及怎么使用它
1. 为什么使用激活函数
2. 激活函数总类及优缺点
3. 如何选择激活函数
激活函数神经网络神经元中输入的 inputs 通过加权求和后还被作用了一个函数这个函数就是激活函数 Activation Function。 如下图所示 1.为什么使用激活函数 2.激活函数总类及优缺点 3.如何选择激活函数
如果输出是 0、1 值二分类问题则输出层选择 sigmoid 函数然后其它的所有单元都选择 Relu 函数。如果在隐藏层上不确定使用哪个激活函数那么通常会使用 Relu 激活函数。有时也会使用 tanh 激活函数但 Relu 的一个优点是当是负值的时候导数等于 0。sigmoid 激活函数除了输出层是一个二分类问题基本不会用它。tanh 激活函数tanh 是非常优秀的几乎适合所有场合。ReLu 激活函数最常用的默认函数如果不确定用哪个激活函数就使用 ReLu 或者 Leaky ReLu再去尝试其他的激活函数。如果遇到了一些死的神经元我们可以使用 Leaky ReLU 函数。
以上内容总结多篇文章供作者及刚入门小白学习如有错误希望指出
