Magic Clothing
Magic Clothing是一个专注于控制性的服装驱动图像合成的项目,它是OOTDiffusion模型的一个分支版本,旨在通过服装来控制图像的生成。
标签:AI大模型Garment-Driven Image Synthesis Magic Clothing 控制性服装驱动图像合成 虚拟服装试穿技术Magic Clothing简介:
Magic Clothing是一个专注于控制性的服装驱动图像合成的项目,它是OOTDiffusion模型的一个分支版本,旨在通过服装来控制图像的生成。并且官方团队发布了在 768 分辨率上训练的模型权重,此版本中服装和文本提示的强度可以独立调整。以及支持与IP-Adapter-FaceID、ControlNet-Openpos模型一起使用,能够使用肖像和参考姿势图像作为附加条件。这个项目的目标是为图像合成提供更多的控制和灵活性,使得用户能够根据自己的需求创建更具个性化和创意的图像。
- MagicClothing权重文件:https://huggingface.co/ShineChen1024/MagicClothing
- github:https://github.com/ShineChen1024/MagicClothing/tree/main
- OOTDiffusion技术论文:https://arxiv.org/abs/2403.01779
- IP-Adapter-FaceID:https://huggingface.co/h94/IP-Adapter-FaceID
![Magic Clothing Magic Clothing](https://img.pidoutv.com/wp-content/uploads/2024/06/image-550.png)
Magic Clothing的主要功能特点
- 控制性:用户可以通过文本提示来控制图像合成中的服装细节,从而生成定制的、穿着特定服装的人物图像。
- 高度可控:系统能够在生成过程中融合服装细节,实现高度可控和细粒度的图像输出。
- 多模态支持:支持IP-Adapter-FaceID,允许使用面部图像作为额外条件,提高图像合成的个性化和准确性。
- 模型更新:提供了不同分辨率的模型权重,如512和768分辨率,以及最新的1024分辨率版本,适用于VTON-HD和DressCode。
- 可视化工具:提供了Gradio工具,用户可以通过这些工具来探索和使用Magic Clothing的功能。
ComfyUI_MagicClothing体验
ComfyUI_MagicClothing是MagicClothing虚拟试衣的非官方实现ComfyUI插件,但也是一款强大的ComfyUI插件,支持功能如下:
- 通过提示生语成服装图像
- IPAdapter FaceID 配合人脸检测和服装图像合成
- IPAdapter FaceID 配合 controlnet openpose 和服装图像合成
- 支持上半身、下半身和全身模型
ComfyUI_MagicClothing插件安装
可以使用插件管理器搜索ComfyUI_MagicClothing安装,或者采用Git工具安装。
Git安装如下
在 ComfyUI 的 custom_nodes 目录下运行下列CLI命令
git clone https://github.com/frankchieng/ComfyUI_MagicClothing.git
pip install -r requirements.txt
模型下载
需要从Huggingface下载 cloth_segm.pth, magic_clothing_768_vitonhd_joint.safetensors(上半身模型), OMS_1024_VTHD+DressCode_200000.safetensors(下半身和全身模型)3个模型,并将它们放置在ComfyUI/custom_nodes/ComfyUI_MagicClothing/checkpoints 目录下。
同时,如果需要体验 ipadapterfaceid保持面部风格一致性迁移,那么还需要安装 ComfyUI_IPAdapter_plus 自定义节点。然后从IPAdapter FaceID 模型,并将它们放置在对应目录结构下。
另外,如果还想运行 controlnet openpose 部分,那么必须安装 comfyui_controlnet_aux 插件,以及下载 openpose 模型中的 body_pose_model.pth, facenet.pth 和 hand_pose_model.pth,并将它们放置在 custom_nodes/comfyui_controlnet_aux/ckpts/lllyasviel/Annotators目录下。
还有部分模型会在运行时根据用户选项下载(如openpose模型 body_pose_model.pth, facenet.pth 和 hand_pose_model.pth),因此需要能访问huggingface。
文件结构如下:
ComfyUI
|– models
| |– ipadapter
| | |– ip-adapter-faceid-plus_sd15.bin
| | |– ip-adapter-faceid-plusv2_sd15.bin
| | |– ip-adapter-faceid_sd15.bin
| |– loras
| | |– ip-adapter-faceid-plus_sd15_lora.safetensors
| | |– ip-adapter-faceid-plusv2_sd15_lora.safetensors
| | |– ip-adapter-faceid_sd15_lora.safetensors
|– custom_nodes
| |– ComfyUI_MagicClothing
| | |– checkpoints
| | | |– cloth_segm.pth
| | | |– magic_clothing_768_vitonhd_joint.safetensors
| | | |– OMS_1024_VTHD+DressCode_200000.safetensors
MagicClothing模型体验
01. simple workflow
![Magic Clothing Magic Clothing](https://img.pidoutv.com/wp-content/uploads/2024/06/image-551.png)
02. IPAdapater FaceID workflow
![Magic Clothing Magic Clothing](https://img.pidoutv.com/wp-content/uploads/2024/06/image-552.png)
03. IPAdapater FaceID chained with controlnet openpose workflow
![Magic Clothing Magic Clothing](https://img.pidoutv.com/wp-content/uploads/2024/06/image-553.png)
04. full-body workflow with IPadapterFaceid
![Magic Clothing Magic Clothing](https://img.pidoutv.com/wp-content/uploads/2024/06/image-554.png)
注:实践效果中对于人物面部特征保持相对弱,作者也提到很快会有人物细节更好改善版模型。目前内置模型为SD1.5模型,作者称将会尝试dreamshape8, xxmix9realistic_v40等SDXL模型。
附录
- github:https://github.com/ShineChen1024/MagicClothing/tree/main
- 插件:https://github.com/frankchieng/ComfyUI_MagicClothing/tree/main
Magic Clothing官网打不开的几种可能原因及解决方案
如果你经常无法打开"Magic Clothing官方网站",可能有以下三种原因。这里有一些解决方案:
如还有疑问,可在线留言,着急的话也可以通过微信联系我们。Magic Clothing官网站点数据评估
本站新媒派提供的Magic Clothing信息都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由新媒派实际控制,在2024年6月18日 下午12:05收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,新媒派不承担任何责任。