建设网站审批,莱芜在线论坛网,建设工程安全信息网,wordpress pluings推荐语 4月5日#xff0c;Meta发布 Segment Anything 模型和 SA-1B 数据集#xff0c;引发CV届“地震”#xff0c;其凭借一己之力#xff0c;成功改写了物体检测、数据标注、图像分割等任务的游戏规则。 复旦大学ZVG实验室团队基于此最新开源了SSA语义分割框架和SSA-engin… 推荐语 4月5日Meta发布 Segment Anything 模型和 SA-1B 数据集引发CV届“地震”其凭借一己之力成功改写了物体检测、数据标注、图像分割等任务的游戏规则。 复旦大学ZVG实验室团队基于此最新开源了SSA语义分割框架和SSA-engine自动注释引擎可以为所有mask自动地生成细粒度语义标签填补了SA-1B中缺乏的细粒度语义标注的空白为构建大规模语义分割数据集打下基础也可以用于多模态的特征对齐等研究。 最后我们提供了包含SA-1B在内的多个数据集快速下载地址欢迎大家关注与探索。 本文已授权作者丨复旦大学ZVG实验室
Semantic Segment Anything 丨 复旦大学ZVG实验室
Repo: https://github.com/fudan-zvg/Semantic-Segment-Anything
Demohttps://replicate.com/cjwbw/semantic-segment-anything SAM是一种强大的图像分割模型SA-1B是目前为止最大的分割数据集。然而SAM缺乏为每个mask预测语义类别的能力。为了弥补上述不足我们提出了一个基于SAM的语义分割框架不仅能准确地分割mask还能预测每个mask的语义类别称为Semantic Segment Anything (SSA)。
此外我们的SSA可以作为一个自动化的稠密开放词汇标注引擎称为Semantic segment anything labeling engine (SSA-engine)为SA-1B或任何其他数据集提供丰富的语义类别注释。该引擎显著减少了人工注释及相关成本的需求。 为什么我们需要SSA SAM是一种高度可泛化的图像分割算法可以提供精确的mask分割。SA-1B是迄今为止最大的图像分割数据集提供了精细的mask分割注释。但是SAM和SA-1B都没有为每个mask提供类别预测或注释。这使得研究人员难以直接使用强大的SAM算法来解决语义分割任务或者利用SA-1B来训练自己的模型。 先进的close-set分割器如Oneformeropen-set分割器如CLIPSeg以及image caption方法如BLIP可以提供丰富的语义注释。不过它们的mask分割预测可能无法分割出像SAM那么精确和细腻的边界。 因此通过将SAM和SA-1B的精细图像分割mask与这些先进模型提供的丰富语义类别标注相结合我们可以生成具有更强泛化能力的语义分割模型以及一个大规模语义分割的图像分割数据集。
SSA能做什么
● SSA: 这是第一个利用SAM进行语义分割任务的开放框架。它支持用户将其现有的语义分割器与SAM无缝集成无需重新训练或微调SAM的权重从而实现更好的泛化和更精确的掩模边界。
● SSA-engine: SSA-engine为大规模的SA-1B数据集提供了密集的开放词汇类别注释。在手动审核和精细化之后这些注释可以用于训练分割模型或细粒度的CLIP模型。
下面为大家详细介绍一下。
SSA语义分割一切 在引入SAM之前大多数语义分割应用场景已经有了自己的模型。这些模型可以为区域提供粗略的类别分类但在边缘处模糊不清缺乏精确的掩模。为了解决这个问题我们提出一种利用SAM来增强原有模型性能的开放框架——SSA即使用原始语义分割模型提供类别同时利用强大的SAM提供掩模。
如果您已经在数据集上训练了一个语义分割模型您不需要为了更精准的分割能力重新训练一个基于SAM的新模型。相反您可以继续使用旧模型作为语义分支Semantic branch。SAM强大的泛化和图像分割能力可以提高原有模型的性能。值得注意的是SSA适用于原本的分割器预测的掩模边界不是非常精确的场景如果原有模型的分割已经非常精确了则SSA很难带来提升。
SSA包含两个分支Mask Branch和Semantic Branch以及一个投票模块来决定每个mask的类别。 Mask branch蓝色。SAM可以作为Mask branch提供一组有清晰边界的mask。 Semantic branch紫色。这个分支为每个像素提供语义类别它由一个语义分割器实现用户可以自定义用户感兴趣的类别的分割器。这个分割器不需要具有非常精细的边界预测能力但应该尽可能准确地对每个区域进行分类。 Semantic Voting module红色。这个模块根据mask的位置裁剪出相应的像素类别。在这些像素类别中像素数量排名第一的类别将被视为该mask的分类结果。
SSA-engine自动化类别标注引擎 SSA-engine是一个自动化注释引擎可以为SA-1B数据集或者任何一个数据集提供初始的语义标注。SSA-engine利用close-set分割模型来预测基础类别并结合image caption模型来提供open-vocabulary的标注。得益于这样的设计SSA-engine一方面可以为大多数样本提供令人满意的类别标注另一方面可以利用image caption方法提供更详细的语义类别标注。
SSA-engine填补了SA-1B缺乏的细粒度语义标注的空白显著减少了人工类别标注需求。它有潜力成为训练大规模视觉感知模型和更细粒度CLIP模型的基础。
SSA-engine由三个组件组成
1. Close-set语义分割器绿色。它是两个分别在COCO和ADE20K数据集上训练close-set语义分割模型用于分割图像并获取粗略的类别信息。预测的类别仅包括简单、基本的类别以确保每个mask都获得相关的标签。
2. Open-vocabulary分类器蓝色。利用image caption模型来描述与每个mask对应的图像区域。然后提取名词或短语作为候选的open-vocabulary类别。这个过程提供了更多样化的类别标签。
3. 最终决策模块橙色。SSA-engine使用一个类别过滤器即CLIP从l来自Close-set语义分割器和Open-vocabulary分类器的类别列表中过滤出最合理的top-k个预测。最后Open-vocabulary Segmentor即CLIPSeg根据top-k类别和图像区域预测最适合的类别。
实验
1. 推理时间
我们在单个NVIDIA A6000 GPU上测试了模型的推理速度结果如下表所示 在被用于测试的200张图像中平均每张图像包含了99.9个mask。
2. 显存开销 3. Close-set的语义分割结果
为了验证SSA架构的提升我们选用了Huggiing face上的不同参数量和精度的Segformer模型包括B0B2和B5版本作为一个mask预测没有那么准确的Seamntic branch。实验结果表明在原本的语义分割模型作为Semantic branch的性能一般的情况下SSA可以带来明显的准确度提升。 注意本实验的Segformer的模型权重和代码均由NVIDIA公开下载自Hugging face而这些模型的mIoU略低于Github仓库中的实验结果。 4. Close-set的语义分割结果
我们验证了SSA在雾天语义分割数据集Foggy Driving上的性能。实验中我们是用了OneFormer作为Semantic branch其权重和代码来自于Hugging face。
实测效果
SSA的Close-set语义分割实测
1. Cityscapes
2. ADE20K
3. Foggy Driving
SSA-engine的Open-vocabulary标注实测 快速安装
Semantic-Segment-Anything
conda env create -f environment.yaml
conda activate ssa
python -m spacy download en_core_web_sm# install segment-anythingcd ..
git clone gitgithub.com:facebookresearch/segment-anything.gitcd segment-anything;
pip install -e .; cd ../Semantic-Segment-Anything1. SSA的快速上手
1.1 数据准备
● 下载 ADE20K 或者 Cityscapes dataset,并在 data 文件夹解压.
● 下载SAM 的权重并放在 ckp 下.
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pthcd ..1.2 SSA模型推理 使用8卡GPU在ADE20K上推理SSA
python scripts/main_ssa.py --ckpt_path ./ckp/sam_vit_h_4b8939.pth --save_img --world_size 8 --dataset ade20k --data_dir data/ade20k/ADEChallengeData2016/images/validation/ --gt_path data/ade20k/ADEChallengeData2016/annotations/validation/ --out_dir output_ade20k_test使用8卡GPU在Cityscapes上推理SSA
python scripts/main_ssa.py --ckpt_path ./ckp/sam_vit_h_4b8939.pth --save_img --world_size 8 --dataset cityscapes --data_dir data/cityscapes/leftImg8bit/val/ --gt_path data/cityscapes/gtFine/val/ --out_dir output_cityscapes1.3 SSA验证 获取 ADE20K的验证结果
python evaluation.py --gt_path data/cityscapes/gtFine/val/ --result_path output_cityscapes/ --dataset cityscapes获取 Cityscapes的验证结果
python evaluation.py --gt_path data/cityscapes/gtFine/val/ --result_path output_cityscapes/ --dataset cityscapes2.SSA-engine的快速上手
● 下载SA-1B数据集并放在data路径下
● 运行SSA-engine对SA-1B进行自动类别标注
python scripts/main_ssa_engine.py --data_dirdata/examples --out_diroutput --world_size8 --save_img致谢
● Segment Anything 提供 SA-1B 数据集。
● HuggingFace 提供代码和预训练模型。 ● CLIPSeg、OneFormer、BLIP 和 CLIP提供强大的语义分割、图像说明和分类模型。
引用
如果您觉得我们的工作对您有帮助请引用我们的仓库
misc{chen2023semantic,title {Semantic Segment Anything},author {Chen, Jiaqi and Yang, Zeyu and Zhang, Li},howpublished {\url{https://github.com/fudan-zvg/Semantic-Segment-Anything}},year {2023}
}数据集快速下载链接
COCO 2017 https://opendatalab.com/COCO_2017
ADE20K https://opendatalab.com/ADE20K_2016
CityScapes https://opendatalab.com/CityScapes
Foggy Driving https://people.ee.ethz.ch/~csakarid/SFSU_synthetic/
SA-1B https://opendatalab.com/SA-1B
-END-
更多公开数据集欢迎访问OpenDataLab官网查看与下载https://opendatalab.org.cn/
