DreamBooth

DreamBooth是什么？

DreamBooth是2022年谷歌研究团队（Google Research）提出的一种文本—图像扩散模型微调方法，核心是让文生图模型学会个性化生成，只需少量特定物体的参考图，就可以让预训练好的文生图模型“记住”这些特定物体的独特特征，后面通过简单的标识符就能让模型生成这些特定物体出现在新场景、新角度、新风格的高保真度的新图，解决文生图模型“无法生成给定的特定物体”的问题。

DreamBooth功能特点

• 少量图绑定特定主体：仅3～5张能非常清楚表示主体特征的参考图以及主体的名称（如 “狗”“背包”），模型可以微调，模型会跟主体“绑”上“身份”，不需要大量的训练数据。
• 独特标识符触发生成：绑定后用特殊的标识（自定义标记、自定义名字）就能在文字提示中迅速调用自身的主体，快速生成各种各样特定主题的图像，简单易操作。
• 多维度个性化生成：能对绑定的主体形象生成各种场景（如 “某背包上的雪山”“某宠物上的埃菲尔铁塔”）、任意角度（正视图、侧视图、反视图），且主题、场景、角度都恰当自然。
• 外观与风格灵活调整：基于文本信息进行主体颜色、配饰（“穿警察服的某只狗”、“紫色的某辆汽车”）的变换，或者模仿某种艺术风格（“梵高”风格、“达芬奇”风格等等），又或者保持主体外观原状。
• 高保真细节保留：生成图像可以进一步超分辨率调整，保留真实物体的细节信息（如毛发纹理、物体纹理、外形等），不会因为不同场景或风格的变化而丢失主体细节。

适用场景

• 艺术创作：艺术家创作指定主题的个性化画作、设计图等，如虚拟角色、场景渲染图等，拓宽艺术创作。
• 市场营销：商家生成商品放置在不同场景下的图片用于广告、社交平台宣传、模特图等，提升营销效果和消费体验。
• 影视与游戏：是前期制作的辅助，生成人物、场景丰富的图像，例如生成的人物设定图、场景设定图等，快速生成时间，降低制作费用。
• 个人化内容：用户生成定制中自己或者特殊的自己的个性图，例如自己的虚拟形象、纪念照、朋友圈头像等，个性化内容。
• 学术研究：探索扩散模型的微调效果，个人定制、风格定制等学术研究，促进智能技术和艺术产业等的结合。 

与Stable Diffusion的协同关系

• 技术基础：DreamBooth基于Stable Diffusion的Diffusion模型，在此基础上微调增加个性化使用，而Stable Diffusion提供基础生成能力，形成“通用生成-个性化使用”的完整的技术链路。
• 生态互补：Stable Diffusion有开源生态（如Diffusers库、WebUI有帮助DreamBooth使用、部署，促进DreamBooth在商业等生态中的使用等），是互补的生态。 

DreamBooth怎么使用？

1. 数据准备

• 收集 3-10 张主题鲜明、背景分明的图片（例如宠物全身照、人正脸照），图片分辨率不少于512×512。
• 命名一个唯一的名称（例如 MyPet）及类别名（例如 cat）与模型关联。
• 文件的格式统一为 png/jpg 格式的图片文件并剪去多余的背景，中间只保留主体。

2. 模型训练

• 选择训练工具：Stable Diffusion WebUI、Hugging Face的diffusers、Google Colab。
• 配置参数：学习率1e-5～1e-6、批次大小2～8、step数500～2000步。
• 启用先验保留机制，生成通用类别图像（如“cat”的随机样本），防止过拟合。
• 上传数据，开始训练模型，观察损失变化值，调整模型使其收敛。

3. 生成应用

• 基础模式：在WebUI输入提示文字（如“MyPet猫一个花园中”），给“某主题”生成图片，改变风格/环境。
• 高级控制：控制ControlNet控制人物姿势/构图，或者用LoRA来改变风格（例如绘制成动漫风格）等。
• 生成的图片也可以导出为PNG/JPEG、嵌入网页/社交媒体中，或者通过API方式主动生成。