在线网站设计工具,微信定制版app,php 怎么做 网站 图片,网站建设师个人简介怎么写介绍
大家好#xff0c;最近有个开源项目比较有意思#xff0c;解决了图像中不支持带有中文的问题。 https://github.com/tyxsspa/AnyText。
为什么不能带有中文#xff1f; 数据集局限 Stable Diffusion的训练数据集以英文数据为主#xff0c;没有大量包含其他语言文本的…介绍
大家好最近有个开源项目比较有意思解决了图像中不支持带有中文的问题。 https://github.com/tyxsspa/AnyText。
为什么不能带有中文 数据集局限 Stable Diffusion的训练数据集以英文数据为主没有大量包含其他语言文本的图像数据。这导致模型对非英文语言的理解和生成能力比较弱。
DALL·E 3 也是类似情况带有英文情况可以带有其它语言效果不理想。 多语言处理能力有限 Stable Diffusion的底层语言模型是英文预训练的没有经过中文细化。它对中文词汇、语法、语义的理解和生成能力有限。 文本渲染能力有限 将文本渲染成逼真图像方面存在局限性较难生成自然、连贯的中文文本。 AnyText的绘图工具
阿里巴巴推出开源项目指定位置精准地向图中加入文字。
项目支持中英日韩四种语言如图。 快速使用
官网提供两个环境。 https://huggingface.co/spaces/modelscope/AnyText https://modelscope.cn/studios/damo/studio_anytext/summary 架构 AnyText的架构一个基于扩散方法设计的文本生成和编辑系统。 辅助潜在模块 输入包括文本字形、位置和遮蔽图像。生成有助于在图像中创建或修改文本的潜在特征。 文本嵌入模块 利用光学字符识别OCR模型将笔画数据编码成嵌入。这些嵌入与由分词器产生的图像标题嵌入相结合。结果是与图像背景无缝融合的文本。
为了训练这个模型使用了特定的损失函数
文本控制扩散损失 旨在确保生成的文本准确地遵循控制条件如位置、风格。文本感知损失 提高文本的感知精度确保其与图像的视觉方面如字体和比例保持一致。
这个系统允许准确地生成文本与图像内容的上下文和视觉效果协调一致。
总结
现在不支持stable diffusion webui 插件使用只能在官方Demo或者写代码执行。
欢迎交流分享这方面问题我也深入再尝试下。
朋友们帮忙点赞关注收藏
