自建个人网站平台,手机网站开发有前途,友情链接交换方式有哪些,做设计到哪个网站赚钱目录
1 优点
2 缺点 3.知识点个人笔记 2018年3月份#xff0c;ELMo出世#xff0c;该paper是NAACL18 Best Paper。在之前2013年的word2vec及2014年的GloVe的工作中#xff0c;每个词对应一个vector#xff0c;对于多义词无能为力。ELMo的工作对于此#xff0c;提出了一…目录
1 优点
2 缺点 3.知识点个人笔记 2018年3月份ELMo出世该paper是NAACL18 Best Paper。在之前2013年的word2vec及2014年的GloVe的工作中每个词对应一个vector对于多义词无能为力。ELMo的工作对于此提出了一个较好的解决方案。不同于以往的一个词对应一个向量是固定的。在ELMo世界里预训练好的模型不再只是向量对应关系而是一个训练好的模型。使用时将一句话或一段话输入模型模型会根据上线文来推断每个词对应的词向量。这样做之后明显的好处之一就是对于多义词可以结合前后语境对多义词进行理解。比如apple可以根据前后文语境理解为公司或水果 1 优点 考虑上下文针对不同的上下文生成不同的词向量。表达不同的语法或语义信息。如“活动”一词既可以是名词也可以是动词既可以做主语也可以做谓语等。针对这种情况ELMo能够根据不同的语法或语义信息生成不同的词向量。6 个 NLP 任务中性能都有幅度不同的提升最高的提升达到 25% 左右而且这 6 个任务的覆盖范围比较广包含句子语义关系判断分类任务阅读理解等多个领域这说明其适用范围是非常广的普适性强这是一个非常好的优点。 2 缺点 使用LSTM提取特征而LSTM提取特征的能力弱于Transformer使用向量拼接方式融合上下文特征这种方式获取的上下文信息效果不如想象中好训练时间长这也是RNN的本质导致的和上面特征提取缺点差不多。 3.知识点个人笔记
