大型免费网站制作,深圳包装设计公司排名前十强,附近的小程序怎么开通,做电商网站前端的技术选型是LSTM 设计思想 姑且不看偏置。 W W W 和 U U U 是加权的矩阵#xff0c;写模型的时候用 nn.Linear(in_dim, out_dim) 就成#xff1b; σ \sigma σ 是 Sigmoid 函数
第一条#xff0c;遗忘门#xff0c;定义为 有多少内容需要被遗忘#xff1b;第二条#xff1a;输入门…LSTM 设计思想 姑且不看偏置。 W W W 和 U U U 是加权的矩阵写模型的时候用 nn.Linear(in_dim, out_dim) 就成 σ \sigma σ 是 Sigmoid 函数
第一条遗忘门定义为 有多少内容需要被遗忘第二条输入门定义为 有多少输入值有多少能进入到 RNN 模型里第三条输出门定义为 有多少内容能够成为输出值
这三个 0 到 1 的值是聚合当前的输入特征 x t x_t xt 和 上一时刻的隐藏状态 h t − 1 h_{t-1} ht−1 所计算得到的。它们表示的意思是聚合当前的输入信息以及记忆信息之前的信息来决定模型不同的位置有多少比例保留下来。
第四条表示 “当前信息”使用 tanh 映射到 -1到 1之间第五条表示 “当前的记忆信息”根据上一时刻的信息有多少被遗忘以及当前输入有多少能进入所聚合得到第六条表示 隐藏状态由当前的记忆信息的一定比例计算得到
从这六条式子中一定要知道LSTM 接收 3 个输入值分别为 x t x_t xt、 h t − 1 h_{t-1} ht−1 和 c t − 1 c_{t-1} ct−1 根据 LSTM 由三个输入可以设计一个 Gate Fusion Module输入三个 Tensor 聚合得到一个 Tensor用 tensor. Repeat(x,y,z) 来对其维度。这样做可以简单聚合不同模态的信息
GRU 理解起来和前者的叙述类似
最终要的地方是可以作为 Gate Fusion所设计的 Gate Fusion 以两个 tensor 作为输入就用 GRU 这一套计算公式如果以三个 tensor 作为输入就用 LSTM 这一套公式剩下的对齐维度跑通 forward 函数就行
