网站开发的发展历史及趋势,自己在家怎么做电商,网站建设技术解决方案,网站建设整体策划如果想实现一个计算机视觉应用#xff0c;而不想从零开始训练权重#xff0c;比方从随机初始化开始训练#xff0c;更快的方式是下载已经训练好权重的网络结构#xff0c;把这个作为预训练#xff0c;迁移到你感兴趣的新任务上。ImageNet、PASCAL等等数据库已经公开在线。…如果想实现一个计算机视觉应用而不想从零开始训练权重比方从随机初始化开始训练更快的方式是下载已经训练好权重的网络结构把这个作为预训练迁移到你感兴趣的新任务上。ImageNet、PASCAL等等数据库已经公开在线。许多计算机视觉的研究者已经在上面训练了自己的算法训练要耗费很长时间很多GPU有人已经经历过这种痛苦可以下载这种开源的权重为你自己的神经网络做好的初始化开端而且可以用迁移学习来迁移知识从这些大型公共数据库迁移知识到自己的问题上。
举例 比如有两只猫的名字是Tiggar和Misty,下载了框架前面的可以都不用改可以修改一下后面的softmax根据自己的需要替换一下框架中的softmax即可。前面的参数不需要训练了可以只训练softmax层的权重同时冻结前面所有层
如果你的训练集比较小用前面固定函数该神经网络的前半部分接受任一输入图像X然后计算其特征向量然后一句这个特征向量训练一个浅层softmax模型去预测因此预计算之前层的激活结果是有利于你计算的操作预计算训练集所有样本激活结果并存到硬盘上然后训练右边的softmax类别。这样做的好处是你不需要在训练集上每次迭代重新计算这些激活结果。 如果你的训练集比较大你可以冻结更少的层数训练后面这些层尽管输出层的类别与你需要的不同你可以用最后几层权重作为初始化开始做梯度下降训练或者也可以去掉最后几层用自己的神经元和最终的softmax输出训练。即你的数据越多所冻结的层数可以越少自己训练的层数可以越多 如果有很多数据可以用开源网络和权重初始化整个网络然后训练。可以用下载的权重初始化因为这些权重可以代替随机初始化然后做梯度下降训练更新所有的权重和网络层
