网站设计是用ps做图吗,为什么建设网站很多公司没有,解决wordpress占用内存,十大搜索引擎排行榜速通《动手学深度学习》9.1 写在最前面九、现代循环神经网络9.1 门控循环单元#xff08;GRU#xff09;9.1.1. 门控隐状态9.1.1.1. 重置门和更新门9.1.1.2. 候选隐状态9.1.1.3. 隐状态 9.1.3 API简洁实现小结 #x1f308;你好呀#xff01;我是 是Yu欸 #x1f30c; 20… 速通《动手学深度学习》9.1 写在最前面九、现代循环神经网络9.1 门控循环单元GRU9.1.1. 门控隐状态9.1.1.1. 重置门和更新门9.1.1.2. 候选隐状态9.1.1.3. 隐状态 9.1.3 API简洁实现小结 你好呀我是 是Yu欸 2024每日百字篆刻时光感谢你的陪伴与支持 ~ 欢迎一起踏上探险之旅挖掘无限可能共同成长 写在最前面
很久之前的笔记。草稿箱翻到了。
跳着看的。 最近用到GRU了所以直接到第九章
学习资料《动手学深度学习》文档1.0http://zh.gluon.ai/chapter_how-to-use/how-to-use.html 2.0版本https://zh.d2l.ai/chapter_preface/index.html 第⼀部分包括基础知识和预备知识。 1节 提供深度学习的入门课程。 2节 中快速介绍实践深度学习所需的前提条件例如如何存储和处理数据以及如何应用基于线性代数、微积分和概率基本概念的各种数值运算。 3节 和 4节 涵盖了深度学习的最基本概念和技术例如线性回归、多层感知机和正则化。
第二部分现代深度学习技术。 5节 描述了深度学习计算的各种关键组件并为我们随后 实现更复杂的模型奠定了基础。 6节 和 7节 中卷积神经网络convolutional neural networkCNN这是构成大多数现代计算机视觉系统骨干的强大工具。 8节 和 9节 中循环神经网络(recurrent neural networkRNN)这是⼀种利用数据中的时间或序列结构的模型通常用于自然语言处理和时间序列预测。 10节 中注意力机制的技术最近它们已经开始在自然语言处理中取代循环神经网络。 这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。
第三部分讨论可伸缩性、效率和应用程序。 11节 中用于训练深度学习模型的几种常用优化算法。12节 将探讨影响深度学习代码计算性能的几个关键因素。 13节 中展示了深度学习在计算机视觉中的主要应⽤。 14节 和 15节 中展示如何预训练语言表示模型并将其应用于自然语言处理任务。
九、现代循环神经网络
9.1 门控循环单元GRU
在 8.7节中 讨论了如何在循环神经网络中计算梯度 以及矩阵连续乘积可以导致梯度消失或梯度爆炸的问题。 梯度异常在实践中的意义 情况1早期观测值对预测所有未来观测值具有非常重要的意义。 考虑一个极端情况其中第一个观测值包含一个校验和 目标是在序列的末尾辨别校验和是否正确。 在这种情况下第一个词元的影响至关重要。 我们希望有某些机制能够在一个记忆元里存储重要的早期信息。 如果没有这样的机制我们将不得不给这个观测值指定一个非常大的梯度 因为它会影响所有后续的观测值。 情况2一些词元没有相关的观测值。 例如在对网页内容进行情感分析时 可能有一些辅助HTML代码与网页传达的情绪无关。 我们希望有一些机制来跳过隐状态表示中的此类词元。 情况3序列的各个部分之间存在逻辑中断。 例如书的章节之间可能会有过渡存在 或者证券的熊市和牛市之间可能会有过渡存在。 在这种情况下最好有一种方法来重置内部状态表示。
在学术界已经提出了许多方法来解决这类问题。 其中最早的方法是”长短期记忆”long-short-term memoryLSTM (Hochreiter and Schmidhuber, 1997) 我们将在 9.2节中讨论。 门控循环单元gated recurrent unitGRU (Cho et al., 2014) 是一个稍微简化的变体通常能够提供同等的效果 并且计算 (Chung et al., 2014)的速度明显更快。 由于门控循环单元更简单我们从它开始解读。
9.1.1. 门控隐状态
门控循环单元与普通的循环神经网络之间的关键区别在于 前者支持隐状态的门控。 这意味着模型有专门的机制来确定应该何时更新隐状态 以及应该何时重置隐状态。 这些机制是可学习的并且能够解决了上面列出的问题。
例如如果第一个词元非常重要 模型将学会在第一次观测之后不更新隐状态。 同样模型也可以学会跳过不相关的临时观测。 最后模型还将学会在需要的时候重置隐状态。 下面将详细讨论各类门控。
9.1.1.1. 重置门和更新门
首先介绍重置门reset gate和更新门update gate。 我们把它们设计成0,1区间中的向量 这样我们就可以进行凸组合。 重置门允许我们控制“可能还想记住”的过去状态的数量 短期 更新门将允许我们控制新状态中有多少个是旧状态的副本。长期
我们从构造这些门控开始。 图9.1.1 描述了门控循环单元中的重置门和更新门的输入 输入是由当前时间步的输入和前一时间步的隐状态给出。 两个门的输出是由使用sigmoid激活函数的两个全连接层给出。 图9.1.1 在门控循环单元模型中计算重置门和更新门
9.1.1.2. 候选隐状态 图9.1.2说明了应用重置门之后的计算流程。 图9.1.2 在门控循环单元模型中计算候选隐状态
9.1.1.3. 隐状态 这些设计可以帮助我们处理循环神经网络中的梯度消失问题 并更好地捕获时间步距离很长的序列的依赖关系。 例如如果整个子序列的所有时间步的更新门都接近于1 则无论序列的长度如何在序列起始时间步的旧隐状态都将很容易保留并传递到序列结束。
图9.1.3说明了更新门起作用后的计算流。 总之门控循环单元具有以下两个显著特征 重置门有助于捕获序列中的短期依赖关系 更新门有助于捕获序列中的长期依赖关系。 9.1.3 API简洁实现
高级API包含了前文介绍的所有配置细节 所以我们可以直接实例化门控循环单元模型。 这段代码的运行速度要快得多 因为它使用的是编译好的运算符而不是Python来处理之前阐述的许多细节。
读取 8.5节中使用的时间机器数据集
import torch
from torch import nn
from d2l import torch as d2lbatch_size, num_steps 32, 35
train_iter, vocab d2l.load_data_time_machine(batch_size, num_steps)num_inputs vocab_size
gru_layer nn.GRU(num_inputs, num_hiddens)
model d2l.RNNModel(gru_layer, len(vocab))
model model.to(device)
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)perplexity 1.1, 334788.1 tokens/sec on cuda:0
time traveller with a slight accession ofcheerfulness really thi
travelleryou can show black is white by argument said filby小结
门控循环神经网络可以更好地捕获时间步距离很长的序列上的依赖关系。
重置门有助于捕获序列中的短期依赖关系。
更新门有助于捕获序列中的长期依赖关系。
重置门打开时门控循环单元包含基本循环神经网络 更新门打开时门控循环单元可以跳过子序列。 欢迎大家添加好友持续发放粉丝福利
