成都网站建设费用,网站建设进度计划,wordpress插件汉化不全,asp 做购物网站系列文章目录 文章目录 系列文章目录一、理论知识比喻机器翻译Seq2seq编码器-解码器细节训练衡量生成序列的好坏的BLEU(值越大越好)总结 二、代码编码器解码器损失函数训练预测预测序列的评估小结练习 一、理论知识
比喻 seq2seq就像RNN的转录工作一样#xff0c;非常形象的比…系列文章目录 文章目录 系列文章目录一、理论知识比喻机器翻译Seq2seq编码器-解码器细节训练衡量生成序列的好坏的BLEU(值越大越好)总结 二、代码编码器解码器损失函数训练预测预测序列的评估小结练习 一、理论知识
比喻 seq2seq就像RNN的转录工作一样非常形象的比喻。
机器翻译 Seq2seq seq2seq是一个EncoderDecoder的架构。在编码器我们对一个句子可以正着看反着看解码器部分给定编码器的隐藏状态和一个开始翻译的标记 bos ,表示开始翻译吧第一部分翻译结果作为下一部分翻译结果的输入直到输出了 eos 。此时我们就没有要求原句子和target句子的长度要相同。
编码器-解码器细节 把Encoder中最后一层的RNN在最后那个时刻的隐藏状态也就是编码器的输出和句子的Embedding的输入一起作为Decoder的输入。
训练 衡量生成序列的好坏的BLEU(值越大越好) p 3 p_3 p3就代表预测序列中长度为3的序列ABBCD中就是ABB、BBC、BCD其中只有BCD在标签序列中存在所以是1/3。 解释一下长匹配有高权重因为pn是个小于1的数所以他的幂越小整体值越大。
总结
Seq2seq从一个句子生成另一个句子编码器和解码器都是RNN将编码器最后时间隐状态来初始解码器隐状态来完成信息传递常用BLEU来衡量生成序列的好坏
二、代码
import collections
import math
import torch
from torch import nn
from d2l import torch as d2l编码器
从技术上讲编码器将长度可变的输入序列转换成形状固定的上下文变量 c \mathbf{c} c并且将输入序列的信息在该上下文变量中进行编码。如上文所示可以使用循环神经网络来设计编码器。 考虑由一个序列组成的样本批量大小是 1 1 1。 假设输入序列是 x 1 , … , x T x_1, \ldots, x_T x1,…,xT其中 x t x_t xt是输入文本序列中的第 t t t个词元。 在时间步 t t t循环神经网络将词元 x t x_t xt的输入特征向量 x t \mathbf{x}_t xt和 h t − 1 \mathbf{h} _{t-1} ht−1即上一时间步的隐状态转换为 h t \mathbf{h}_t ht即当前步的隐状态。 使用一个函数 f f f来描述循环神经网络的循环层所做的变换 h t f ( x t , h t − 1 ) . \mathbf{h}_t f(\mathbf{x}_t, \mathbf{h}_{t-1}). htf(xt,ht−1).
总之编码器通过选定的函数 q q q将所有时间步的隐状态转换为上下文变量 c q ( h 1 , … , h T ) . \mathbf{c} q(\mathbf{h}_1, \ldots, \mathbf{h}_T). cq(h1,…,hT). 比如当选择 q ( h 1 , … , h T ) h T q(\mathbf{h}_1, \ldots, \mathbf{h}_T) \mathbf{h}_T q(h1,…,hT)hT时就像上文提到一样上下文变量仅仅是输入序列在最后时间步的隐状态 h T \mathbf{h}_T hT。 到目前为止我们使用的是一个单向循环神经网络来设计编码器其中隐状态只依赖于输入子序列这个子序列是由输入序列的开始位置到隐状态所在的时间步的位置包括隐状态所在的时间步组成。 我们也可以使用双向循环神经网络构造编码器其中隐状态依赖于两个输入子序列两个子序列是由隐状态所在的时间步的位置之前的序列和之后的序列包括隐状态所在的时间步因此隐状态对整个序列的信息都进行了编码。 现在让我们[实现循环神经网络编码器]。 注意我们使用了嵌入层embedding layer来获得输入序列中每个词元的特征向量。 嵌入层的权重是一个矩阵其行数等于输入词表的大小vocab_size其列数等于特征向量的维度embed_size。 对于任意输入词元的索引 i i i嵌入层获取权重矩阵的第 i i i行从 0 0 0开始以返回其特征向量。 另外本文选择了一个多层门控循环单元来实现编码器。
#save
class Seq2SeqEncoder(d2l.Encoder):用于序列到序列学习的循环神经网络编码器def __init__(self, vocab_size, embed_size, num_hiddens, num_layers, dropout0, **kwargs):super(Seq2SeqEncoder, self).__init__(**kwargs)# 嵌入层self.embedding nn.Embedding(vocab_size, embed_size)self.rnn nn.GRU(embed_size, num_hiddens, num_layers,dropoutdropout)def forward(self, X, *args):# 输出X的形状(batch_size,num_steps,embed_size)X self.embedding(X)# 在循环神经网络模型中第一个轴对应于时间步X X.permute(1, 0, 2)# 如果未提及状态则默认为0output, state self.rnn(X)# output的形状:(num_steps,batch_size,num_hiddens) 最后与之前的普通RNN不同之前是len(vocab)# state的形状:(num_layers,batch_size,num_hiddens)return output, state循环层返回变量的说明可以参考博客RNN的简介实现。
下面我们实例化[上述编码器的实现] 我们使用一个两层门控循环单元编码器其隐藏单元数为 16 16 16。 给定一小批量的输入序列X批量大小为 4 4 4时间步为 7 7 7。 在完成所有时间步后最后一层的隐状态的输出是一个张量output由编码器的循环层返回其形状为时间步数批量大小隐藏单元数。
encoder Seq2SeqEncoder(vocab_size10, embed_size8, num_hiddens16, num_layers2)
encoder.eval()
X torch.zeros((4, 7), dtypetorch.long)
output, state encoder(X)
output.shapetorch.Size([7, 4, 16])由于这里使用的是门控循环单元所以在最后一个时间步的多层隐状态的形状是隐藏层的数量批量大小隐藏单元的数量。 如果使用长短期记忆网络state中还将包含记忆单元信息。
state.shapetorch.Size([2, 4, 16])解码器
sec_seq2seq_decoder
正如上文提到的编码器输出的上下文变量 c \mathbf{c} c对整个输入序列 x 1 , … , x T x_1, \ldots, x_T x1,…,xT进行编码。来自训练数据集的输出序列 y 1 , y 2 , … , y T ′ y_1, y_2, \ldots, y_{T} y1,y2,…,yT′对于每个时间步 t ′ t t′与输入序列或编码器的时间步 t t t不同解码器输出 y t ′ y_{t} yt′的概率取决于先前的输出子序列 y 1 , … , y t ′ − 1 y_1, \ldots, y_{t-1} y1,…,yt′−1和上下文变量 c \mathbf{c} c即 P ( y t ′ ∣ y 1 , … , y t ′ − 1 , c ) P(y_{t} \mid y_1, \ldots, y_{t-1}, \mathbf{c}) P(yt′∣y1,…,yt′−1,c)。
为了在序列上模型化这种条件概率我们可以使用另一个循环神经网络作为解码器。 在输出序列上的任意时间步 t ′ t^\prime t′循环神经网络将来自上一时间步的输出 y t ′ − 1 y_{t^\prime-1} yt′−1和上下文变量 c \mathbf{c} c作为其输入然后在当前时间步将它们和上一隐状态 s t ′ − 1 \mathbf{s}_{t^\prime-1} st′−1转换为隐状态 s t ′ \mathbf{s}_{t^\prime} st′。 因此可以使用函数 g g g来表示解码器的隐藏层的变换 s t ′ g ( y t ′ − 1 , c , s t ′ − 1 ) . \mathbf{s}_{t^\prime} g(y_{t^\prime-1}, \mathbf{c}, \mathbf{s}_{t^\prime-1}). st′g(yt′−1,c,st′−1). :eqlabel:eq_seq2seq_s_t
在获得解码器的隐状态之后我们可以使用输出层和softmax操作来计算在时间步 t ′ t^\prime t′时输出 y t ′ y_{t^\prime} yt′的条件概率分布 P ( y t ′ ∣ y 1 , … , y t ′ − 1 , c ) P(y_{t^\prime} \mid y_1, \ldots, y_{t^\prime-1}, \mathbf{c}) P(yt′∣y1,…,yt′−1,c)。
根据 :numref:fig_seq2seq当实现解码器时我们直接使用编码器最后一个时间步的隐状态来初始化解码器的隐状态。 这就要求使用循环神经网络实现的编码器和解码器具有相同数量的层和隐藏单元。 为了进一步包含经过编码的输入序列的信息上下文变量在所有的时间步与解码器的输入进行拼接concatenate。为了预测输出词元的概率分布在循环神经网络解码器的最后一层使用全连接层来变换隐状态。
class Seq2SeqDecoder(d2l.Decoder):用于序列到序列学习的循环神经网络解码器def __init__(self, vocab_size, embed_size, num_hiddens, num_layers,dropout0, **kwargs):super(Seq2SeqDecoder, self).__init__(**kwargs)self.embedding nn.Embedding(vocab_size, embed_size) #这里是法语了所以我有自己的embedding层self.rnn nn.GRU(embed_size num_hiddens, num_hiddens, num_layers,dropoutdropout)self.dense nn.Linear(num_hiddens, vocab_size)def init_state(self, enc_outputs, *args):return enc_outputs[1] #之前的解码器的outputs包含outputstate现在只要state来初始化Decoder的state参数def forward(self, X, state):# 输出X的形状(batch_size,num_steps,embed_size)X self.embedding(X).permute(1, 0, 2)# 广播context使其具有与X相同的num_stepscontext state[-1].repeat(X.shape[0], 1, 1) #state[-1]是RNN中最后一个时刻最后一层的输出认为浓缩存储了基本所有的信息重复时间步长的次数长度也就是Decoder输入的长度。X_and_context torch.cat((X, context), 2) # 就是说我解码器的输入是Embedding的输出和编码器最后一个时刻(上下文)output, state self.rnn(X_and_context, state)output self.dense(output).permute(1, 0, 2)# 上面处理完后最后的output的形状:(batch_size,num_steps,vocab_size)# state的形状:(num_layers,batch_size, num_hiddens)return output, state下面我们用与前面提到的编码器中相同的超参数来[实例化解码器]。 如我们所见解码器的输出形状变为批量大小时间步数词表大小其中张量的最后一个维度存储预测的词元分布。
decoder Seq2SeqDecoder(vocab_size10, embed_size8, num_hiddens16, num_layers2)
decoder.eval()
state decoder.init_state(encoder(X))
output, state decoder(X, state)
output.shape, state.shape(torch.Size([4, 7, 10]), torch.Size([2, 4, 16])) # 第一个(batch_size,句子长度len(vocab)) 第二个是(隐藏层层数batch_size,num_hiddens总之上述循环神经网络“编码器解码器”模型中的各层如 :numref:fig_seq2seq_details所示。
fig_seq2seq_details
损失函数
在每个时间步解码器预测了输出词元的概率分布。 类似于语言模型可以使用softmax来获得分布并通过计算交叉熵损失函数来进行优化。 回想一下前面博客机器翻译中特定的填充词元被添加到序列的末尾因此不同长度的序列可以以相同形状的小批量加载。但是我们应该将填充词元的预测排除在损失函数的计算之外。 为此我们可以使用下面的sequence_mask函数[通过零值化屏蔽不相关的项]以便后面任何不相关预测的计算都是与零的乘积结果都等于零。 例如如果两个序列的有效长度不包括填充词元分别为 1 1 1和 2 2 2则第一个序列的第一项和第二个序列的前两项之后的剩余项将被清除为零。
def sequence_mask(X, valid_len, value0):在序列中屏蔽不相关的项maxlen X.size(1)mask torch.arange((maxlen), dtypetorch.float32, deviceX.device)[None, :] valid_len[:, None]X[~mask] valuereturn XX torch.tensor([[1, 2, 3], [4, 5, 6]])
sequence_mask(X, torch.tensor([1, 2]))tensor([[1, 0, 0], [4, 5, 0]])(我们还可以使用此函数屏蔽最后几个轴上的所有项。)如果愿意也可以使用指定的非零值来替换这些项。
X torch.ones(2, 3, 4)
sequence_mask(X, torch.tensor([1, 2]), value-1)tensor([[[ 1., 1., 1., 1.],[-1., -1., -1., -1.],[-1., -1., -1., -1.]],[[ 1., 1., 1., 1.],[ 1., 1., 1., 1.],[-1., -1., -1., -1.]]])现在我们可以[通过扩展softmax交叉熵损失函数来遮蔽不相关的预测]。 最初所有预测词元的掩码都设置为1。 一旦给定了有效长度与填充词元对应的掩码将被设置为0。 最后将所有词元的损失乘以掩码以过滤掉损失中填充词元产生的不相关预测。
#save
class MaskedSoftmaxCELoss(nn.CrossEntropyLoss):带遮蔽的softmax交叉熵损失函数# pred的形状(batch_size,num_steps,vocab_size)# label的形状(batch_size,num_steps)# valid_len的形状(batch_size,)def forward(self, pred, label, valid_len):weights torch.ones_like(label)weights sequence_mask(weights, valid_len)self.reductionnoneunweighted_loss super(MaskedSoftmaxCELoss, self).forward(pred.permute(0, 2, 1), label)weighted_loss (unweighted_loss * weights).mean(dim1)return weighted_loss我们可以创建三个相同的序列来进行[代码健全性检查]然后分别指定这些序列的有效长度为 4 4 4、 2 2 2和 0 0 0。 结果就是第一个序列的损失应为第二个序列的两倍而第三个序列的损失应为零。
loss MaskedSoftmaxCELoss()
loss(torch.ones(3, 4, 10), torch.ones((3, 4), dtypetorch.long), torch.tensor([4, 2, 0]))tensor([2.3026, 1.1513, 0.0000])训练
sec_seq2seq_training
在下面的循环训练过程中如下图所示特定的序列开始词元“bos”和原始的输出序列不包括序列结束词元“eos”拼接在一起作为解码器的输入。 这被称为强制教学teacher forcing因为原始的输出序列词元的标签被送入解码器。 或者将来自上一个时间步的预测得到的词元作为解码器的当前输入。
def train_seq2seq(net, data_iter, lr, num_epochs, tgt_vocab, device):训练序列到序列模型def xavier_init_weights(m):if type(m) nn.Linear:nn.init.xavier_uniform_(m.weight)if type(m) nn.GRU:for param in m._flat_weights_names:if weight in param:nn.init.xavier_uniform_(m._parameters[param])net.apply(xavier_init_weights)net.to(device)optimizer torch.optim.Adam(net.parameters(), lrlr)loss MaskedSoftmaxCELoss()net.train()animator d2l.Animator(xlabelepoch, ylabelloss,xlim[10, num_epochs])for epoch in range(num_epochs):timer d2l.Timer()metric d2l.Accumulator(2) # 训练损失总和词元数量for batch in data_iter: #精华在这部分的下面前几句代码怎么构造Decoder的输入和输出以及怎么算loss时候把padding给去掉。optimizer.zero_grad()X, X_valid_len, Y, Y_valid_len [x.to(device) for x in batch] #首先知道batch中有四部分东西bos torch.tensor([tgt_vocab[bos]] * Y.shape[0], devicedevice).reshape(-1, 1) # 为批次中的每个序列创建一个填充了bos标记的张量。将张量形状调整为(batch_size, 1)。dec_input torch.cat([bos, Y[:, :-1]], 1) # 强制教学 准备解码器的输入 给decoder一个开始符号然后把其他的Ylabel后移一个位置把最后一个给挤出去了Y_hat, _ net(X, dec_input, X_valid_len) # 我这里去掉X_valid_len这个参数仍能跑通代码这里应该是标志作用l loss(Y_hat, Y, Y_valid_len) # 这里如果我预测序列比真实序列长 那损失还准吗l.sum().backward() # 损失函数的标量进行“反向传播”d2l.grad_clipping(net, 1)num_tokens Y_valid_len.sum()optimizer.step()with torch.no_grad():metric.add(l.sum(), num_tokens)if (epoch 1) % 10 0:animator.add(epoch 1, (metric[0] / metric[1],))print(floss {metric[0] / metric[1]:.3f}, {metric[1] / timer.stop():.1f} ftokens/sec on {str(device)})现在在机器翻译数据集上我们可以[创建和训练一个循环神经网络“编码器解码器”模型]用于序列到序列的学习。
embed_size, num_hiddens, num_layers, dropout 32, 32, 2, 0.1
batch_size, num_steps 64, 10
lr, num_epochs, device 0.005, 300, d2l.try_gpu()train_iter, src_vocab, tgt_vocab d2l.load_data_nmt(batch_size, num_steps)
encoder Seq2SeqEncoder(len(src_vocab), embed_size, num_hiddens, num_layers,dropout)
decoder Seq2SeqDecoder(len(tgt_vocab), embed_size, num_hiddens, num_layers,dropout)
net d2l.EncoderDecoder(encoder, decoder)
train_seq2seq(net, train_iter, lr, num_epochs, tgt_vocab, device)loss 0.019, 12745.1 tokens/sec on cuda:0预测
为了采用一个接着一个词元的方式预测输出序列 每个解码器当前时间步的输入都将来自于前一时间步的预测词元。 与训练类似序列开始词元“bos” 在初始时间步被输入到解码器中。 该预测过程如 :numref:fig_seq2seq_predict所示 当输出序列的预测遇到序列结束词元“eos”时预测就结束了。 fig_seq2seq_predict
我们将在 :numref:sec_beam-search中介绍不同的序列生成策略。
def predict_seq2seq(net, src_sentence, src_vocab, tgt_vocab, num_steps,device, save_attention_weightsFalse):序列到序列模型的预测# 在预测时将net设置为评估模式net.eval()src_tokens src_vocab[src_sentence.lower().split( )] [src_vocab[eos]]enc_valid_len torch.tensor([len(src_tokens)], devicedevice)src_tokens d2l.truncate_pad(src_tokens, num_steps, src_vocab[pad])# 添加批量轴enc_X torch.unsqueeze(torch.tensor(src_tokens, dtypetorch.long, devicedevice), dim0)enc_outputs net.encoder(enc_X, enc_valid_len)dec_state net.decoder.init_state(enc_outputs, enc_valid_len)# 添加批量轴dec_X torch.unsqueeze(torch.tensor([tgt_vocab[bos]], dtypetorch.long, devicedevice), dim0)output_seq, attention_weight_seq [], []for _ in range(num_steps):Y, dec_state net.decoder(dec_X, dec_state)# 我们使用具有预测最高可能性的词元作为解码器在下一时间步的输入dec_X Y.argmax(dim2)pred dec_X.squeeze(dim0).type(torch.int32).item()# 保存注意力权重稍后讨论if save_attention_weights:attention_weight_seq.append(net.decoder.attention_weights)# 一旦序列结束词元被预测输出序列的生成就完成了if pred tgt_vocab[eos]:breakoutput_seq.append(pred)return .join(tgt_vocab.to_tokens(output_seq)), attention_weight_seq预测序列的评估
我们可以通过与真实的标签序列进行比较来评估预测序列。 虽然 :cite:Papineni.Roukos.Ward.ea.2002提出的BLEUbilingual evaluation understudy最先是用于评估机器翻译的结果但现在它已经被广泛用于测量许多应用的输出序列的质量。 原则上说对于预测序列中的任意 n n n元语法n-gramsBLEU的评估都是这个 n n n元语法是否出现在标签序列中。
我们将BLEU定义为 exp ( min ( 0 , 1 − l e n label l e n pred ) ) ∏ n 1 k p n 1 / 2 n , \exp\left(\min\left(0, 1 - \frac{\mathrm{len}_{\text{label}}}{\mathrm{len}_{\text{pred}}}\right)\right) \prod_{n1}^k p_n^{1/2^n}, exp(min(0,1−lenpredlenlabel))n1∏kpn1/2n, :eqlabel:eq_bleu
其中 l e n label \mathrm{len}_{\text{label}} lenlabel表示标签序列中的词元数和 l e n pred \mathrm{len}_{\text{pred}} lenpred表示预测序列中的词元数 k k k是用于匹配的最长的 n n n元语法。 另外用 p n p_n pn表示 n n n元语法的精确度它是两个数量的比值 第一个是预测序列与标签序列中匹配的 n n n元语法的数量 第二个是预测序列中 n n n元语法的数量的比率。 具体地说给定标签序列 A A A、 B B B、 C C C、 D D D、 E E E、 F F F 和预测序列 A A A、 B B B、 B B B、 C C C、 D D D 我们有 p 1 4 / 5 p_1 4/5 p14/5、 p 2 3 / 4 p_2 3/4 p23/4、 p 3 1 / 3 p_3 1/3 p31/3和 p 4 0 p_4 0 p40。
根据 :eqref:eq_bleu中BLEU的定义 当预测序列与标签序列完全相同时BLEU为 1 1 1。 此外由于 n n n元语法越长则匹配难度越大 所以BLEU为更长的 n n n元语法的精确度分配更大的权重。 具体来说当 p n p_n pn固定时 p n 1 / 2 n p_n^{1/2^n} pn1/2n 会随着 n n n的增长而增加原始论文使用 p n 1 / n p_n^{1/n} pn1/n。 而且由于预测的序列越短获得的 p n p_n pn值越高 所以 :eqref:eq_bleu中乘法项之前的系数用于惩罚较短的预测序列。 例如当 k 2 k2 k2时给定标签序列 A A A、 B B B、 C C C、 D D D、 E E E、 F F F 和预测序列 A A A、 B B B尽管 p 1 p 2 1 p_1 p_2 1 p1p21 惩罚因子 exp ( 1 − 6 / 2 ) ≈ 0.14 \exp(1-6/2) \approx 0.14 exp(1−6/2)≈0.14会降低BLEU。
[BLEU的代码实现]如下。
def bleu(pred_seq, label_seq, k): #save计算BLEUpred_tokens, label_tokens pred_seq.split( ), label_seq.split( )len_pred, len_label len(pred_tokens), len(label_tokens)score math.exp(min(0, 1 - len_label / len_pred))for n in range(1, k 1):num_matches, label_subs 0, collections.defaultdict(int)for i in range(len_label - n 1):label_subs[ .join(label_tokens[i: i n])] 1for i in range(len_pred - n 1):if label_subs[ .join(pred_tokens[i: i n])] 0:num_matches 1label_subs[ .join(pred_tokens[i: i n])] - 1score * math.pow(num_matches / (len_pred - n 1), math.pow(0.5, n))return score最后利用训练好的循环神经网络“编码器解码器”模型[将几个英语句子翻译成法语]并计算BLEU的最终结果。
engs [go ., i lost ., he\s calm ., i\m home .]
fras [va !, j\ai perdu ., il est calme ., je suis chez moi .]
for eng, fra in zip(engs, fras):translation, attention_weight_seq predict_seq2seq(net, eng, src_vocab, tgt_vocab, num_steps, device)print(f{eng} {translation}, bleu {bleu(translation, fra, k2):.3f})小结
根据“编码器-解码器”架构的设计 我们可以使用两个循环神经网络来设计一个序列到序列学习的模型。在实现编码器和解码器时我们可以使用多层循环神经网络。我们可以使用遮蔽来过滤不相关的计算例如在计算损失时。在“编码器解码器”训练中强制教学方法将原始输出序列而非预测结果输入解码器。BLEU是一种常用的评估方法它通过测量预测序列和标签序列之间的 n n n元语法的匹配度来评估预测。
练习
试着通过调整超参数来改善翻译效果。重新运行实验并在计算损失时不使用遮蔽可以观察到什么结果为什么会有这个结果如果编码器和解码器的层数或者隐藏单元数不同那么如何初始化解码器的隐状态在训练中如果用前一时间步的预测输入到解码器来代替强制教学对性能有何影响用长短期记忆网络替换门控循环单元重新运行实验。有没有其他方法来设计解码器的输出层
