MagicColor

MagicColor是一款基于扩散模型的开源多实例草图上色工具。该工具打破了传统逐个处理模式，采用全局协同方法实现多对象同时上色，在保证色彩风格与细节一致性的同时显著提升创作效率。借助先进的扩散模型技术，艺术工作者可以在更短时间内获得精准稳定且风格统一的上色效果。

主要功能亮点

• 多实例批量处理：传统方式需要手动逐对象上色，耗时且易产生色彩偏差。通过扩散模型技术，可一次性完成多个草图实例的智能上色，在提升效率的同时确保整体色彩协调。
• 智能扩散模型算法：采用前沿的扩散模型架构，能够精准捕捉图像细节，生成自然渐变的色彩过渡效果，有效避免色彩断层现象，呈现细腻真实的视觉表现。
• 精准区域分割：集成自动掩模提取系统（支持Grounded-Segment-Anything等方案），智能识别草图实例边界，通过自动化流程为精细化上色提供准确区域划分。
• 全局色彩协调：独特的全局协调策略确保多对象处理时维持统一视觉风格，无论是漫画、插画还是数字艺术创作，都能呈现和谐的整体色彩效果。
• 灵活开发架构：提供完整的训练与推理脚本，支持自定义数据集训练和预训练模型快速部署，便于用户根据实际需求进行二次开发与优化。
• 开源协作生态：作为开源项目，既方便研究开发者深入理解技术原理，又可通过社区协作持续优化迭代，推动多实例上色技术的创新发展。

安装与使用指南

1.环境配置

推荐使用Conda进行环境管理，已安装Anaconda/Miniconda的用户可执行：

conda create -n MagicColor python=3.8
conda activate MagicColor
pip install -r requirements.txt

2.获取项目代码

执行以下命令获取最新代码：

git clone https://github.com/YinHan-Zhang/MagicColor.git
cd MagicColor

3.配置区域分割工具

需要部署Grounded-Segment-Anything组件：

git clone https://github.com/IDEA-Research/Grounded-Segment-Anything.git
mv automatic_label.py Grounded-Segment-Anything/
cd Grounded-Segment-Anything
mkdir ckpt

将SAM、RAM、GroundingDINO等模型权重文件放入新建的ckpt目录。

4.模型训练

数据目录按以下结构组织：

数据集根目录/
├── 子目录1/
│ ├── masks/
│ │ ├── 掩模1.png
│ │ └── …
│ └── 子目录1.jpg
└── …

执行训练命令：

python automatic_label.py
–config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py
–ram_checkpoint ./ckpt/ram_swin_large_14m.pth
–grounded_checkpoint ./ckpt/groundingdino_swint_ogc.pth
–sam_checkpoint ./ckpt/sam_vit_h_4b8939.pth
–data_dir ./data
–output_dir ./data_res
–device “cuda”

5.推理应用

推理数据组织格式：

数据目录/
└── 目标目录/
├── masks/
│ ├── 参考掩模1.png
│ └── …
├── 参考图1.jpg
└── 待处理草图.jpg

执行推理脚本：
cd scripts
bash multi_ref_infer.sh

6.启动可视化界面：

cd inference
python gradio_app.py