福州网络科技有限公司,关键词自然排名优化,赤峰网站设计公司,外贸网站制作广州文章目录 1. 知识蒸馏2. 可微搜索索引#xff08;DSI#xff09;参考资料 在找论文时#xff0c;发现的相关概念。 1. 知识蒸馏
知识蒸馏#xff08;knowledge distillation#xff09;是模型压缩的一种常用的方法#xff0c;不同于模型压缩中的剪枝和量化#xff0c;知… 文章目录 1. 知识蒸馏2. 可微搜索索引DSI参考资料 在找论文时发现的相关概念。 1. 知识蒸馏
知识蒸馏knowledge distillation是模型压缩的一种常用的方法不同于模型压缩中的剪枝和量化知识蒸馏是通过构建一个轻量化的小模型利用性能更好的大模型的监督信息来训练这个小模型以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用在分类任务上面这个大模型我们称之为teacher教师模型小模型我们称之为Student学生模型。来自Teacher模型输出的监督信息称之为knowledge(知识)而student学习迁移来自teacher的监督信息的过程称之为Distillation(蒸馏)。
2. 可微搜索索引DSI
DSI主要有两个部分分别是 1索引Indexing—给定文件输出文件的docid 2检索Retrieval—根据给定的查询x输出docid整体流程如下 query -》docid 《- documents 查询到docid称为检索documents到docid称为索引
参考资料
【1】知识蒸馏https://zhuanlan.zhihu.com/p/258390817 【2】DSIhttps://zhuanlan.zhihu.com/p/665924073
