制作一个网站需要注意什么,会员卡充值管理系统,网站建设捌金手指花总二六,房产网站开发文档CH3 激活函数意义 增强网络表达能力#xff0c;引入非线性因素 连续可导的非线性函数 尽可能简单 导数的值域要在合适的范围内 为什么会发生梯度消失 误差传播的迭代公式为#xff1a; 其中需要用到激活函数的导数#xff0c;而激活函数的导数值小于1时#xff0c;误差经过…CH3 激活函数意义 增强网络表达能力引入非线性因素 连续可导的非线性函数 尽可能简单 导数的值域要在合适的范围内 为什么会发生梯度消失 误差传播的迭代公式为 其中需要用到激活函数的导数而激活函数的导数值小于1时误差经过每一层传递都会不断衰减当网络很深的时候梯度会消失。 损失函数的种类 绝对值损失函数 交叉熵损失函数 平方损失函数 梯度下降方法 梯度下降全批次 随机梯度下降每一次随机选择一个数据计算梯度 mini-batch结合两者 异同计算效率更新频率样本划分目标 如何解决梯度消失和过拟合 选择合适的激活函数用复杂的们结构代替激活函数残差结构 正则化解决过拟合 CNN 由卷积层、子采样层、全连接层交叉堆叠而成 与DNNqubie DNN训练方法 BP RNN的训练方法 BPTT BPTT和BP的区别 BPTT损失函数定义为每一个时刻的损失之和它会在每一个时间步长内叠加所有对应的权重梯度 GNN如何解决邻接节点个数不确定 将目标节点的特征更新为其自身特征和邻居特征的组合。 GNN卷积步骤1.Aggregation 2.Transformation 在最后一层K层得到每个结点的表示后可以根据任务将其代入任何损失函数然后用梯度下降法训练参数 GNN训练方法 卷积然后在最后一层得到每个节点的表示后根据任务将其带入任何损失函数邻接节点特征聚合 transformation引入非线性
相较于DNNCNNRNN有什么优点
DNN,CNN输入输出定长RNN处理变长问题效率更高DNN,CNN无法处理时序相关的问题
CNN各层的作用是什么
卷积层通过卷积操作减少参数池化层通过采样减少网络规模全连接层将池化层的单元平化
GNN和CNN的区别
卷积思想 核心相同两者都利用卷积操作从输入中提取特征。共享权重CNN在特定区域共享卷积核参数GNN在邻域节点中共享权重减少参数量。特征聚合两者都通过聚合局部特征局部连接生成全局信息。 目标 两者均试图降低模型复杂度同时保留尽可能多的关键信息。 训练方法 均通过梯度下降法优化损失函数如交叉熵损失。使用类似的反向传播BP算法来更新权重。
LSTM VS GRU 门结构不同 LSTM输入门遗忘门输出门 GRU更新门重置门 模型参数不同 GRU比LSTM更加简单参数更少 对memory 的控制不同 LSTM 用output gate 控制传输给下一个unit。 GRU直接传递给下一个unit不做任何控制。
