华为云网站定制,seo服务如何收费,wordpress 选择插件,北京注册公司麻烦吗目录
一、概述
二、小样本学习的数据集
1、Omniglot
2、MiniimageNet
三、孪生网络
四、三元组损失函数 一、概述 小样本学习用于处理训练数据集中样本数量少的情况#xff0c;一般来说#xff0c;小样本学习流程是这样的#xff0c;从一个多种类少量样本的巨大数据集…目录
一、概述
二、小样本学习的数据集
1、Omniglot
2、MiniimageNet
三、孪生网络
四、三元组损失函数 一、概述 小样本学习用于处理训练数据集中样本数量少的情况一般来说小样本学习流程是这样的从一个多种类少量样本的巨大数据集中训练一个Pretrained网络模型这一步不需要做之后可以基于预训练模型根据微调、元学习或度量方法进行fine-tune做到对查询集的一个分类和识别。 小样本学习的LibFewShot库https://github.com/RL-VIG/LibFewShot 小样本学习与传统神经网络的区别 假设训练猫狗分类问题传统神经网络会从大量带标签的猫狗训练集中进行充分训练得到较好的模型然后测试集也是猫狗数据集只不过是训练集中没有的图片模型将对测试集进行分类。 小样本学习首先在一个较大的较多类别每个类别较少数据的数据集即辅助集不包含猫狗类别中进行预训练通过迁移学习对预训练模型进行微调微调时会利用一个Support set(支持集支持集包含猫狗的图片和标签根据支持集的类别共K类和每个类别的图片数量n张又叫做K-way n-shot小样本问题通常K取5或10n取1或5。通过在支持集进行微调达到少量样本完成对查询集测试集猫狗测试集的分类。 小样本学习不需要传统神经网络的过高层数过多的融合来寻找分类的特征从而知道如何分类而是通过有限的支持集进行相似度匹配来达到分类的效果。 小样本学习例子 下图的Query兔子就是测试集而辅助集在训练时没有见过兔子类那么他是如何分类的呢 通过依赖支持集Support Set对于预训练模型进行微调来获得水獭与测试图片相似度最高的标签。 另外 K-way n-shot的举例如下 K-way n-shot与测试集的Accuracy的关系
1支持集类别数越多测试集Accuracy越低因为测试图片占测试种类的比例下降了。 2支持集图片越多测试集Accuracy越高这个很好理解图片越多学的越好。 二、小样本学习的数据集
1、Omniglot Omniglot是全语言文字数据集包含50种语言的字母表共计1623个类每个字母由20个不同的人书写也就是每个字母仅有20张图片每个图片的像素为105*105。Omniglot数据集分为训练集和测试集训练集有30个字母表964个字符测试集有20个字母表659个字符训练集和测试集类别不同也就是说预训练也是进行的小样本学习Omniglot数据集一般用作小样本训练。 2、MiniimageNet MiniimageNet是一个从ImageNet数据集中抽取的数据集一共100个类别每个类别600张图片共计6万张图片。MiniimageNet数据集的训练集64个类别验证集16个类别测试集20个类别。Miniimagenet用于针对各种生物、物品的小样本学习数据集。 三、孪生网络 孪生网络利用相同样本和不同样本之间的区别训练出一个能够分类的神经网络。 首先将训练集分成正负样本且样本数量相等的三元组形式类别相同的图片为正样本类别不同的图片首先选取一张图片a再找从不属于a的图片中随机取样b图片为负样本。 孪生网络前向传播输入两张图片经过映射得到两个列向量向量作差得到z层经过全连接网络和激活函数与所给target计算损失函数并进行反向传播修改权重。 注意这个网络只是简单的一个解释内部的网络已经更新换代但大体依旧是输入两张图片与一个Target训练该模型。如下图这种就是图片映射的列向量进入网络层而没有直接做差。 测试模型时根据测试集与支持集的不同类别计算相似度相似度最大的记为本次测试的类别。 四、三元组损失函数 三元组损失Triplet Loss是基于度量的小样本学习中的损失函数方法。首先从训练集中随机选择一张图片作为anchor如下图中第一张老虎图片再根据anchor的类别寻找该类的随机一张图片作为Positive最后从trainset除去老虎类随机抽取一张图片记为Negative。 根据三张图片正样本和负样本去计算与anchor的2-范数也就是几何距离记作d和d-d越小越好正样本越接近anchord-越大越好负样本越远离anchor。 如果dd-那么相当于随机模型所以训练好的模型必须满足我们定义三元组损失为 根据三元组损失计算预测图片与支持集中图片的距离dist通过比较距离中最短的一个就可以确定预测图片所属的类别。 相关视频Siamese Network (孪生网络) (2/3)_哔哩哔哩_bilibili
