MagicColor

MagicColor是什么？

MagicColor是一款基于扩散模型的开源多实例草图上色工具。它打破了以往一个个分开处理的传统方式，采用了全局一齐协作的方式将多个对象一起进行上色工作，在保留不同图片颜色风格和细节一致性的前提下提高创作的速度。利用强大的扩散模型，创作者可在较短时间内看到足够准确且稳定的具有相同颜色风格的作品上色结果。

主要功能亮点

• 多实例批量处理：以前都是需要人工一个个上色，非常麻烦且容易出错；现在用扩散模型可以一次性把多个草图实例全部智能上色，又快又好、统一协调。
• 智能扩散模型算法：采用扩散模型架构，能够确保对图片的每一个细节把握准确，产生自然过渡的渐变颜色，不会发生颜色断层的现象，显示效果真实细腻。
• 精准区域分割：结合自动掩模提取系统 Grounded-Segment-Anything 等方案，自动检测绘制好的草图实例轮廓边界，并提供流程化方式帮助用户快速获得用于精细上色的精准区域分割结果。
• 全局色彩协调：不同类型的漫画/插画/DPI 作品创作多对象处理保持视觉一致的策略均能体现出良好的视觉效果和色彩协调性。
• 灵活开发架构：提供了完整的训练推理脚本，使用自己的数据集完成训练及预训练模型一键式安装部署，方便进一步开发与调优。
• 开源协作生态：作为一个开源项目，既可以方便研究者了解内部实现原理，也可以通过共同参与的方式被大家不断改进完善。

安装与使用指南

1.环境配置

推荐使用Conda进行环境管理，已安装Anaconda/Miniconda的用户可执行：

conda create -n MagicColor python=3.8
conda activate MagicColor
pip install -r requirements.txt

2.获取项目代码

执行以下命令获取最新代码：

git clone https://github.com/YinHan-Zhang/MagicColor.git
cd MagicColor

3.配置区域分割工具

需要部署Grounded-Segment-Anything组件：

git clone https://github.com/IDEA-Research/Grounded-Segment-Anything.git
mv automatic_label.py Grounded-Segment-Anything/
cd Grounded-Segment-Anything
mkdir ckpt

将SAM、RAM、GroundingDINO等模型权重文件放入新建的ckpt目录。

4.模型训练

数据目录按以下结构组织：

数据集根目录/
├── 子目录1/
│ ├── masks/
│ │ ├── 掩模1.png
│ │ └── …
│ └── 子目录1.jpg
└── …

执行训练命令：

python automatic_label.py
–config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py
–ram_checkpoint ./ckpt/ram_swin_large_14m.pth
–grounded_checkpoint ./ckpt/groundingdino_swint_ogc.pth
–sam_checkpoint ./ckpt/sam_vit_h_4b8939.pth
–data_dir ./data
–output_dir ./data_res
–device “cuda”

5.推理应用

推理数据组织格式：

数据目录/
└── 目标目录/
├── masks/
│ ├── 参考掩模1.png
│ └── …
├── 参考图1.jpg
└── 待处理草图.jpg

执行推理脚本：
cd scripts
bash multi_ref_infer.sh

6.启动可视化界面：

cd inference
python gradio_app.py