长沙水业网站是哪家公司做的,小超人成都网站建设,企业网站建设原则是( ),wordpress收录难引言 从本系列博客开始#xff0c;我们将来一起学习一下NLP领域的相关基础知识#xff0c;NLP领域重要的模型是RNN#xff0c;在此之前#xff0c;先来了解一些符号的含义。 1.符号定义 #xff08;1#xff09;符号定义 假设建立一个能够自动识别句中人名位置的序列模型…引言 从本系列博客开始我们将来一起学习一下NLP领域的相关基础知识NLP领域重要的模型是RNN在此之前先来了解一些符号的含义。 1.符号定义 1符号定义 假设建立一个能够自动识别句中人名位置的序列模型它的输入序列是这样的“Harry Potter and Herminoe Granger invented a new spell.”(这些人名都是出自于J.K.Rowling笔下的系列小说Harry Potter)。输出y使得输入的每个单词都对应一个输出值同时这个能够表明输入的单词是否是人名的一部分。 注这是一个命名实体识别问题常用于搜索引擎比如说索引过去24小时内所有新闻报道提及的人名用这种方式就能够恰当地进行索引。命名实体识别系统可以用来查找不同类型的文本中的人名、公司名、时间、地点、国家名和货币名等等。 符号定义如下 注意在这个例子中TxTy但是在其他案例中不一定相等。 2序列表示 序列表示主要是对每个单词进行编码从而得到序列的编码我们采用one-hot编码方式。 Step1定义词典 Step2索引每个单词在词典的位置 Step3编码单词在编码向量中向量中下标等于单词在词典中的位置的元素定义为1其他下标的元素定义为0 Step4循环Step2-Step3得到序列中所有单词的编码向量。 举个例子如下为输入序列假设词典有10000个单词如下所示 而Harry在词典中4075下标因此该单词编码表示4075下标的位置为1其他为0得到编码向量也称为独热向量。序列中其他位置的单词依次得到的内容如上。 注意如果遇到了一个不在词表中的单词那么就是创建一个新的标记也就是一个叫做Unknow Word的伪造单词用UNK作为标记来表示不在词表中的单词我们之后会讨论更多有关这个的内容。 2.循环神经网络模型 1标准神经网络的缺点 可以用标准神经网络学习序列模型但是效果并不好原因如下 一、输入和输出数据在不同例子中长度不一定相同不是所有的例子都有着同样输入长度或输出长度。即使每个句子都有最大长度也许可以填充padding使每个输入语句都达到最大长度但并不是一个好的表达方式。 二、网络结构并不共享从文本的不同位置上学到的特征。比如神经网络已经学习到了在位置1出现的Harry可能是人名的一部分那么如果Harry出现在其他位置我们也希望能够自动识别其为人名的一部分的话。这就类似卷积网络垂直卷积可以在图片中不同位置学习到相同的垂直特征但普通的网络就不行。 三、假设词典是10000词则编码向量是10,000维的one-hot向量因此这会是十分庞大的输入层。如果总的输入大小是最大单词数乘以10,000那么第一层的权重矩阵就会有着巨量的参数。但循环神经网络就没有上述问题。
2循环神经网络 上图即为一个循环神经网络的结构图假设我们进行人名识别任务即识别句子中的词是否是人名的一部分。任务流程为在第一个时间步我们把第一个词x1输入到第一层第一层预测出y1在第二个时间步我们把第二个词x2输入到第二层同时第二层接受来自时间步1的信息即第一层输出的激活值结合这两部分第二层预测出y2持续这种模式输入到最后一个时间步输入xTx和上一个时间步的激活值预测出yTy。所以在每一个时间步中循环神经网络传递一个激活值到下一个时间步中用于计算这就是RNN的核心思想。至于第一层接受的激活值a0通常需要在0时刻构造一个。 注意观察上图两个句子在识别Teddy这个词的时候Teddy Roosevelt是泰迪罗斯福而Teddy bears是泰迪熊根据RNN的结构Teddy的识别过程只能接受来自前一个时间步的激活值也就是网络只能学习到Teddy及以前的句子信息而以后的句子内容无法学习也就难以识别Teddy究竟是不是人名的一部分。要解决这个问题我们需要用到双向循环神经网络BRNN这里先不阐述。 上图所示即为RNN的前向传播流程图在第一层中接受a0激活值和第一个词向量x1公式如下 其中g1()tanh()g2()softmax()权重矩阵有下标aa、ax和ya第一位表示计算数据类型比如a表示计算数据类型为a类型即激活值y表示计算数据类型为y类型即输出值。第二位表示参与运算的数据类型比如aa表示计算激活值a时权重矩阵需要和上一时间步的激活值a进行运算ax表示计算激活值a时权重矩阵需要和词向量x进行运算。 更一般的有 为了更加简洁的描述问题和公式我们做如下公式记号 上面两个式子中下式[]和权重矩阵部分的乘积表示为上式。 把两个权重矩阵合并为一个表示如上式所示。 上面这两个式子将上式用下式代替。有了上述符号简化我们可以改写前向传播的公式 同理下式也可以改写 3.通过时间的反向传播 当前向传播的流程结束后需要计算损失然后进行反向传播由于RNN的反向传播和时间步有关每一层均是一个时间步的计算流程因此反向传播更像通过时光机穿越到过去进行计算于是RNN的反向传播又叫通过时间反向传播。下面让我来看看具体的流程 首先定义模型的损失函数模型的损失函数为交叉熵损失函数 需要把每一时间步的损失都计算出来最后加在一起得到总损失L。而反向传播的流程如下 红色箭头所示的方向即为反向传播的方向通过下图导数的相关参数按照反向传播的方向传递参数信息即可进行梯度的计算。 如图上所示列了一些梯度计算的有关公式这是一个时间步一层的梯度计算。当然目前所讨论的RNN基于输入序列的长度和输出序列的长度一致下面介绍一些其他RNN的结构。
4.不同类型的循环神经网络 目前常见的RNN结构有4种一对一、一对多、多对一、多对多除去注意力机制多对多结构也分为两种编号4和编号5。下面我来一一举例说明这些结构的应用 一对一编号1这个并不重要给定输入x输出y如果去掉初始激活值a0这就是标准的神经网络。 一对多编号2音乐生成比如给定想要生成的音乐风格可能是一个整数然后每一层依次输出一些值并把值输入给下层进行合并最终输出一个曲子可以理解为每一层生成一个音符但是音符又不能独立下一层输出的音符要依靠上一层的音符从而确保曲子的连贯性。 多对一编号3类似评价类或者情感分类问题给定一段文本要求输出一个评价或者语句的情感。比如“These is nothing to like in this movie.”“这部电影没什么还看的。”所以输入x就是一个序列而输出y可能是从1到5的一个数字代表电影是1星2星3星4星还是5星或者是0或1这代表正面评价和负面评价。 多对多编号4这个例子就是上文提到的人名识别任务案例对于输入序列的每一个词都需要输出是否是人名的一部分。 多对多编号5机器翻译输入序列和输出序列长度不一致。比如输入英语翻译成汉语那么每个词依次输入到网络中输入部分构成编码器x输入的结构。而网络读取所有的词后解码器y输出的结构依次输出要求翻译的结果。
