河南郑州百度网站建设,太原贴吧,网站建设公司北京,网站建设要做什么会计科目项目设计集合#xff08;人工智能方向#xff09;#xff1a;助力新人快速实战掌握技能、自主完成项目设计升级#xff0c;提升自身的硬实力#xff08;不仅限NLP、知识图谱、计算机视觉等领域#xff09;#xff1a;汇总有意义的项目设计集合#xff0c;助力新人快速实…
项目设计集合人工智能方向助力新人快速实战掌握技能、自主完成项目设计升级提升自身的硬实力不仅限NLP、知识图谱、计算机视觉等领域汇总有意义的项目设计集合助力新人快速实战掌握技能助力用户更好利用 CSDN 平台自主完成项目设计升级提升自身的硬实力。 专栏订阅项目大全提升自身的硬实力 [专栏详细介绍项目设计集合人工智能方向助力新人快速实战掌握技能、自主完成项目设计升级提升自身的硬实力不仅限NLP、知识图谱、计算机视觉等领域
激发创新助力研究CogVLM强大且开源的视觉语言模型亮相 CogVLM 是一个强大的开源视觉语言模型VLM。CogVLM-17B 拥有 100 亿视觉参数和 70 亿语言参数。 CogVLM-17B 在 10 个经典跨模态基准测试上取得了 SOTA 性能包括 NoCaps、Flicker30k captioning、RefCOCO、RefCOCO、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA 和 TDIUC而在 VQAv2、OKVQA、TextVQA、COCO captioning 等方面则排名第二超越或与 PaLI-X 55B 持平。您可以通过线上 demo 体验 CogVLM 多模态对话。 1.demo案例展示 CogVLM 能够准确地描述图像几乎不会出现幻觉。 LLAVA-1.5 和 MiniGPT-4 的比较。 CogVLM 能理解和回答各种类型的问题并有一个视觉定位版本。 CogVLM 有时比 GPT-4V(ision) 提取到更多的细节信息。 2.快速使用
CogVLM 模型包括四个基本组件视觉变换器ViT编码器、MLP适配器、预训练的大型语言模型GPT和一个视觉专家模块。更多细节请参见论文。 2.1入门指南
我们提供两种图形用户界面GUI进行模型推断分别是网页演示和命令行界面CLI。如果您想在Python代码中使用它很容易修改CLI脚本以适应您的情况。
首先需要安装依赖项。
pip install -r requirements.txt
python -m spacy download en_core_web_sm硬件要求 模型推断1 * A100(80G) 或 2 * RTX 3090(24G)。微调4 * A100(80G) [推荐] 或 8 * RTX 3090(24G)。 2.2 网页演示
我们还提供基于Gradio的本地网页演示。首先通过运行 pip install gradio 安装Gradio。然后下载并进入此仓库运行 web_demo.py。具体使用方式如下
python web_demo.py --from_pretrained cogvlm-chat --version chat --english --bf16
python web_demo.py --from_pretrained cogvlm-grounding-generalist --version base --english --bf16网页演示的 GUI 界面如下 2.3 CLI
我们开源了不同下游任务的模型权重
cogvlm-chat 用于对齐的模型在此之后支持像 GPT-4V 一样的聊天。cogvlm-base-224 文本-图像预训练后的原始权重。cogvlm-base-490 从 cogvlm-base-224 微调得到的 490px 分辨率版本。cogvlm-grounding-generalist 这个权重支持不同的视觉定位任务例如 REC、Grounding Captioning 等。
通过CLI演示执行以下命令
python cli_demo.py --from_pretrained cogvlm-base-224 --version base --english --bf16 --no_prompt
python cli_demo.py --from_pretrained cogvlm-base-490 --version base --english --bf16 --no_prompt
python cli_demo.py --from_pretrained cogvlm-chat --version chat --english --bf16
python cli_demo.py --from_pretrained cogvlm-grounding-generalist --version base --english --bf16该程序会自动下载 sat 模型并在命令行中进行交互。您可以通过输入指令并按 Enter 生成回复。 输入 clear 可清除对话历史输入 stop 可停止程序。
参考链接
https://github.com/THUDM/CogVLM/tree/main
在 CogVLM 的指令微调阶段使用了来自 MiniGPT-4 、 LLAVA 、 LRV-Instruction、 LLaVAR 和 Shikra 项目的一些英文图像-文本数据
更多优质内容请关注公号汀丶人工智能会提供一些相关的资源和优质文章免费获取阅读。
