3张图片即可合成高逼真3D纹理图像，Meta最新TextureDreamer

论文题目：TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

作者：Yu-Ying Yeh, Jia-Bin Huang等

作者机构：University of California, San Diego,University of Maryland, College Park等

论文链接：https://arxiv.org/pdf/2401.09416.pdf

项目主页：https://texturedreamer.github.io/

TextureDreamer

TextureDreamer是一种新颖的图像引导纹理合成方法。它能够从少量输入图像（3到5张）中提取纹理，并将这些纹理传输到任意类别的目标3D形状上。这个过程包括使用个性化几何感知分数提炼（PGSD）技术，结合漫反射模型的最新进展，来实现高质量的纹理合成。

TextureDreamer是一种图像引导的纹理合成方法，通过少量输入图像实现将可调光纹理传输到任意3D形状。传统方法需要密集采样和准确对齐几何结构，而学习方法仅适用于特定类别。相比之下，TextureDreamer利用个性化几何感知分数提炼（PGSD）的核心思想，结合漫反射模型的最新进展，成功实现从真实环境到任意对象的高质量纹理传输。实验证明TextureDreamer在不同类别的真实图像上能够超越先前最先进技术，实现高度逼真且有意义的纹理合成。

读者理解：

这篇论文介绍了一种名为TextureDreamer的纹理传输框架，旨在从少量输入图像中合成具有几何感知的高质量纹理，并将其传输到任意3D几何对象上。在讨论中，作者对该方法的优点和局限性进行了讨论。

从我个人的理解来看，TextureDreamer是一种创新的方法，通过个性化几何感知分数提炼（PGSD）等技术，成功地解决了从稀疏图像到任意几何的图像引导纹理传输问题。PGSD的引入通过注入几何信息，提升了生成纹理的质量和3D一致性，是该方法的关键创新点。

然而，在讨论中，作者也指出了一些限制，如对特殊和非重复纹理的传输困难，以及在输入图像中存在强烈高光反射时的挑战。这些限制是当前方法的挑战之一，需要进一步的研究和改进。

总体而言，TextureDreamer为纹理传输领域带来了显著的进展，但在实际应用中仍需要解决一些挑战。

1 引言

TextureDreamer是一种新框架，通过少量稀疏图像创建高质量可调光纹理。在传统纹理创作方法相对欠发展的情况下，TextureDreamer利用最新的扩散生成模型的进展，成功解决了从现实环境中提取纹理并传输到不同几何对象的挑战。该框架采用个性化几何感知分数提炼（PGSD）核心思想，通过对扩散模型进行微调和引入几何信息，实现了高质量、有意义的纹理合成。与先前方法相比，TextureDreamer在定性和定量实验证明中表现卓越，是纹理传输领域的先进方法。

2 方法

文章提出了一种名为TextureDreamer的框架，旨在通过少量输入图像（3到5张）合成具有几何感知的高质量纹理，并将其传输到任意3D几何对象上。以下是文章方法的详细总结：

基础知识介绍：

• Dreambooth: 用于微调预训练文本到图像扩散模型，将主体外观嵌入模型权重。
• ControlNet : 引入了空间条件控制，通过插入小卷积网络实现对预训练扩散模型的鲁棒微调。
• Score Distillation Sampling: 用于优化3D表示，将渲染图像推向预训练扩散模型建模的高维流形。

Personalized Geometry-aware Score Distillation (PGSD):

• 问题设置：输入为少量图像和目标3D网格，输出为可调光纹理。
• 纹理信息提取：使用Dreambooth从输入图像中提取纹理信息，微调个性化扩散模型。
• 几何感知分数提炼：利用VSD进行得分蒸馏采样，通过注入法线图提升扩散模型的几何感知。

纹理参数化和表示：

• 纹理参数化：可调光纹理采用标准微平面BRDF模型进行参数化。
• 纹理表示：在优化过程中，将纹理表示为神经BRDF场，利用多尺度哈希编码和小型MLP。

设计选择和技术优化：

• LoRA权重：移除LoRA权重可显著提高纹理保真度。
• Dreambooth初始化：使用原始预训练扩散模型权重初始化，以避免过拟合。控制背景：将对象背景设置为常量白色，有助于保持颜色保真度。
• PGSD Loss设计：通过PGSD Loss引入几何感知，显著提升生成纹理的3D一致性。

实验证明：

• 质量和一致性：TextureDreamer在合成高质量纹理方面明显优于先前方法，通过实验证明了其性能优势。
• 参数选择：文章经过广泛实验，选择了合适的参数和设计选择，确保了纹理生成的视觉和语义质量。

TextureDreamer通过结合Dreambooth、ControlNet和VSD等技术，以及引入PGSD方法，成功解决了从少量输入图像到任意几何对象的高质量图像引导纹理传输问题。PGSD克服了VSD的3D一致性问题，通过注入几何信息，提升了生成纹理的质量和一致性。文章通过实验证明了TextureDreamer在纹理合成领域的卓越性能。

3 总结

本文提出的纹理传输框架被认为是将纹理从输入图像传输到任意形状的第一步。尽管方法在大多数情况下能够成功传输高质量的纹理，但在特殊且不重复的纹理以及存在强烈高光反射的情况下存在一些限制。此外，当输入图像的视点未覆盖整个对象时可能会出现Janus问题。作者强调这一方法对于解决这一具有挑战性问题的意义，并预计在3D内容创作社区产生积极影响。