AI工具AI大模型

妙笔

妙笔是阿里巴巴最新开源的中文文生图模型,它与经典的Stable Diffusion 1.5版本结构相同,兼容现有的lora、controlnet等主流插件及其权重。妙笔的特点是用户可以直接输入中文进行...

标签:
星火绘镜

妙笔(官网)简介:

妙笔是阿里巴巴最新开源的中文文生图模型,它与经典的Stable Diffusion 1.5版本结构相同,兼容现有的lora、controlnet等主流插件及其权重。妙笔的特点是用户可以直接输入中文进行文生图操作,生成的图像效果逼真。例如,输入“枯藤老树昏鸦,小桥流水人家。水墨画。”,妙笔能够理解诗句中的意境并生成相应的图像。

妙笔的训练数据包括Laion-5B中的中文子集、Midjourney相关的开源数据以及数十万的caption数据。但由于数据集在成语和古诗词方面存在偏差,对中国名胜地标建筑数据的缺少,以及大量的英译中数据,可能会导致一些理解上的混淆。目前,妙笔Beta0.9版本已经在8张4090显卡上完成训练,开发者也在计划扩展机器资源以训练更高级的模型,以期获得更优的结果。

妙笔的使用也非常简单,用户只需克隆项目并安装所需的包,下载模型权重后即可开始生成图像。此外,妙笔还提供了多种示例和教程,帮助用户快速上手和掌握使用方法。

妙笔

妙笔直接输入中文就可以完成文生图操作,使用起来非常便捷,生图的效果也十分逼真。

比如输入“枯藤老树昏鸦,小桥流水人家。水墨画。”来看秒笔生成结果。可以看出妙笔很好的表达出来诗句中的意思并生成了诗中的内容。

妙笔

再比如输入“极具真实感的复杂农村的老人肖像,黑白。”

妙笔可以看出生成的人像具有很好的完整性和真实感,以往生图模型在生成人像方面的缺点在这也都完成的很好。

项目地址

https://github.com/ShineChen1024/MiaoBi

安装运行

1.克隆项目

git clone https://github.com/ShineChen1024/MiaoBi.git

2.创建虚拟环境并安装所需要的包

conda create -n MiaoBi-SD python==3.10
conda activate MiaoBi-SD
pip install torch==2.0.1 torchvision==0.15.2 numpy==1.25.1 diffusers==0.25.1 opencv

3.下载模型

从Huggingface下载权重,并把它放在检查点文件夹。

MiaoBi checkpoints下载链接

Diffuser使用

from diffusers import StableDiffusionPipeline
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(“checkpoints/miaobi_beta0.9/tokenizer”,  trust_remote_code=True)
pipe = StableDiffusionPipeline.from_pretrained(“checkpoints/miaobi_beta0.9”)

pipe.to(“cuda”)
prompt = “一只穿着铠甲的猫”
image = pipe(prompt).images[0]
image.save(“铠甲猫.png”)

模型推理

python demo

python miaobi_generate.py

###controlnet demo

python miaobi_controlnet.py

中文生图示例

一只精致的陶瓷猫咪雕像,全身绘有精美的传统花纹,眼睛仿佛会发光。

妙笔

动漫风格的风景画,有山脉、湖泊,也有繁华的小镇子,色彩鲜艳,光影效果明显。

妙笔

车水马龙的上海街道,春节,舞龙舞狮。妙笔

局限性

妙笔的训练数据包含Laion-5B中的中文子集(经过清洗过滤),Midjourney相关的开源数据(将英文提示词翻译成中文),以及收集的一批数十万的caption数据。

由于整个数据集大量缺少成语与古诗词数据,所以对成语与古诗词的理解可能存在偏差,对中国的名胜地标建筑数据的缺少以及大量的英译中数据,可能会导致出现一些对象的混乱。

妙笔Beta0.9在8张4090显卡上完成训练,目前也在拓展机器资源来训练SDXL来获得更优的结果,期待后续的更新。

妙笔(官网)打不开的几种可能原因及解决方案

如果你经常无法打开"妙笔网站",可能有以下三种原因。这里有一些解决方案:

一、软件屏蔽:一些软件如微信或QQ可能默认屏蔽一些站点。请使用手机浏览器打开该网址,而不是微信/QQ的内置浏览器。

二、浏览器问题:如果你的浏览器提示该网站违规,这并不代表网站真的违规。可能是由于某些浏览器厂商的屏蔽策略。建议使用原生浏览器,比如苹果设备的Safari浏览器,或者微软的Edge,并尝试一些独立开发的浏览器,如Alook浏览器、X浏览器、VIA浏览器等。

三、网络问题:如果你的网络连接不稳定,或者你使用的网络运营商并未被网站优化支持,可能会遇到访问困难。此时,可以尝试使用网络加速器,将网络切换至更稳定的运营商。另外,部分网站可能需要科学上网才能访问,如Google等(仅在你需要搜集学习资料时推荐此方式)。

以上三点基本上能解决99.99%网站打不开的问题了。

如还有疑问,可在线留言,着急的话也可以通微信联系我们。

妙笔(官网)站点数据评估

妙笔浏览人数已经达到537,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:妙笔的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找妙笔的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于妙笔特别声明

本站新媒派提供的妙笔都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由新媒派实际控制,在2024年3月23日 下午8:06收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,新媒派不承担任何责任。

相关导航