CatVTON- 基于扩散模型的虚拟试穿技术工具

CatVTON简介：

CatVTON是一款由中山大学、美图和鹏城实验室（Pixocial）联合发布的基于扩散模型的虚拟试穿技术工具，旨在提供高效、低资源需求的虚拟试穿体验。通过在空间维度上简单地拼接服装和人物图像来实现不同类别服装的虚拟试穿，该方法有效地降低了模型复杂度和计算成本，同时保持了高质量的虚拟试衣效果，特别适用于电商平台、时尚设计、个人造型顾问、增强现实应用和虚拟时装秀等场景。

这个是官方作者给出的效果：

主要特点

轻量级与高效性：CatVTON采用轻量级的网络结构，总参数量为899.06M，训练时只需49.57M的可训练参数。推理过程在1024×768分辨率下仅需不到8G的显存，对电脑配置要求较低，个人电脑也能轻松运行。
高分辨率支持：支持高分辨率操作，能够生成高质量的虚拟试穿图像。
高度还原细节：能够高度还原不同模特的姿势动作、面部表情以及不同体型的细节，同时保留服装的褶皱、纹理、LOGO和版型等细节。
多任务、多品类支持：不仅支持传统的平铺服装图到人物的换装，还支持上衣、裤子、裙子、套装等不同品类的同时换装，甚至支持人物A到人物B的随心换装。

工作流程

CatVTON的技术原理主要基于扩散模型和轻量级网络结构。以下是其核心技术细节：

轻量级网络结构：CatVTON采用轻量级的网络结构，总参数量为899.06M。这种设计大大降低了模型的复杂度，使其在普通硬件上也能高效运行。
参数高效训练：CatVTON仅需49.57M的可训练参数，显著提高了训练效率。这意味着在训练过程中，所需的计算资源较少，训练速度更快。
简化推理过程：在1024×768分辨率下，推理过程仅需不到8G的显存。这使得CatVTON能够在配置较低的个人电脑上运行。
拼接策略：CatVTON通过在输入上将人物和服装在通道维度进行拼接（Concatenate），有效融合人体、服装和背景信息。这种方法不仅简化了模型结构，还提高了生成结果的质量和稳定性。
无额外网络模块：CatVTON摆脱了对额外的ReferenceNet的依赖，跳过了对图像虚拟试衣来说没有显著帮助的文本交叉注意力。同时，也不需要任何额外的图像编码器来辅助生成。

这些技术创新使得CatVTON在保持高质量输出的同时，大幅降低了计算资源需求，适用于电商平台、时尚设计、个人造型顾问等多种应用场景。

上手测试效果展示：

这个是我自己测试的效果：

换上湖人的队服（手部这块处理的很合理）

换上裙子，细节处理也很好

用虚拟人物测试了一下（效果也很完美）

如何安装

这次的实现效果，最主要的取决于一个大神整理的一个叫做CatVTON的节点，但这个节点的安装和所需要依赖的环境太过于严苛，而且很容易造成和其他环境的冲突，于是有人又基于做了一个叫做CatVTON_Wrapper的节点，完美的解决以上的问题，而且整个工作流非常简单，如下：

github节点地址：https://github.com/chflame163/ComfyUI_CatVTON_Wrapper?tab=readme-ov-file

安装步骤：

1）安装此节点的依赖包，可以在Manager里安装，也可以在\ComfyUI\custom_nodes里直接通过Git clone安装；

git clone https://github.com/chflame163/ComfyUI_CatVTON_Wrapper.git

2）安装此节点所需要的依赖环境；在刚才已经克隆好的文件目录下，如：ComfyUI\custom_ Nodes\ComfyUI_CatVTON_Wrapper中；通过命令行安装依赖文件；前面的… 是你的ComfyUI的Python文件夹；

..\..\..\python_embeded\python.exe -s -m pip install -r requirements.txt

3）下载所需要的模型文件；这里可以在CatVTON官方地址下载，这里也给一个百度网盘的地址，下载后扔进ComfyUI\models\CatVTON 文件夹下即可

官方下载：https://github.com/Zheng-Chong/CatVTON

找到这个位置，下载即可

如何设置

当上面的一切都准备就绪后，我们就可以搭建工作流，然后开始进行换服装的相关操作了；具体的图像和参数设置如下：

（第一次启动工作流的时候，要安装一些依赖的模型文件，大概10多分钟左右）

image: The input image. image：输入图片。mask：输入图片的蒙版，蒙版范围内的服装将被重绘。refer_image：重新绘制服装的参考图像。mask_grow：蒙版扩展的大小。如果重绘服装样式不正确，请尝试调整此值。mixed_precision：可以选择 fp32、fp16、bf16，模型将在所选数据类型下运行。seed：sampler 的随机种子。steps：sampler 的步数。cfg：扩散模型的 cfg 强度。

如果生成的遮罩预览效果不好，可以适当的调整阈值，越低识别精度越模糊，但也适合一些不好识别的场景；越清楚的图0.3的阈值就可以了；
如果换装效果不理想，也可以适当的调整mask_grow这个值，越大覆盖的服装范围越大；

现在就可以玩起来了，我们用这个工作流再做几张好玩的效果：

让马斯克穿上周鸿祎的红衣大炮战甲

马斯克也可以雍容富贵一把

CatVTON官网打不开的几种可能原因及解决方案

如果你经常无法打开"CatVTON官方网站"，可能有以下三种原因。这里有一些解决方案：

一、软件屏蔽：一些软件如微信或QQ可能默认屏蔽一些站点。请使用手机浏览器打开该网址，而不是微信/QQ的内置浏览器。

二、浏览器问题：如果你的浏览器提示该网站违规，这并不代表网站真的违规。可能是由于某些浏览器厂商的屏蔽策略。建议使用原生浏览器，比如苹果设备的Safari浏览器，或者微软的Edge，并尝试一些独立开发的浏览器，如Alook浏览器、X浏览器、VIA浏览器等。

三、网络问题：如果你的网络连接不稳定，或者你使用的网络运营商并未被网站优化支持，可能会遇到访问困难。此时，可以尝试使用网络加速器，将网络切换至更稳定的运营商。另外，部分网站可能需要科学上网才能访问，如Google等（仅在你需要搜集学习资料时推荐此方式）。

以上三点基本上能解决99.99%网站打不开的问题了。

如还有疑问，可在线留言，着急的话也可以通过微信联系我们。

CatVTON官网站点数据评估

CatVTON官网浏览人数已经达到814，如你需要查询该站的相关权重信息，可以点击"5118数据""爱站数据""Chinaz数据"进入；以目前的网站数据参考，建议大家请以爱站数据为准，更多网站价值评估因素如：CatVTON的访问速度、搜索引擎收录以及索引量、用户体验等；当然要评估一个站的价值，最主要还是需要根据您自身的需求以及需要，一些确切的数据则需要找CatVTON官网进行洽谈提供。如该站的IP、PV、跳出率等！

特别声明

本站新媒派提供的CatVTON信息都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由新媒派实际控制，在2024年9月6日下午5:58收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，新媒派不承担任何责任。

新媒派致力于优质、实用的新媒体运营工具资源收集与分享，帮助您快速提升运营工作效率和创意水平！本文地址https://pidoutv.com/sites/25679.html转载请注明

相关导航

visual-try-on

Visual Try-On 是一款基于快手 Kolors 图像模型开发的一键AI虚拟试衣Chrome 浏览器插件。通过先进的 AI 技术，用户只需上传一张照片，插件会自动将选定的衣服“穿”在用户身上，展示逼真的试穿效果。

Swapper AI

Swapper AI是一个AI时装模特和电商助手。它能够帮助电商卖家通过AI技术生成时装模特图片，从而降低商拍成本，提高营销效率和销售转化率。Swapper AI还提供了一系列工具，比如AI换模特、模特换场景、AI创意素材和文字，以及批量生成Listing等功能，旨在为跨境电商卖家提供一站式解决方案。