主创人员：Rohit Gandikota*1, Joanna Materzyńska2, Tingrui Zhou3, Antonio Torralba2 David Bau1
1Northeastern University, 2MIT CSAIL, 3Independent Contributor

如何精确控制扩散模型中的概念？

艺术家花费大量时间制作提示并寻找种子，以使用文本到图像模型生成所需的图像。然而，他们需要对生成图像中的属性强度（如眼睛大小或光照）进行更细致、更细粒度的控制。修改提示会破坏整体结构。艺术家需要保持连贯性的表达控制。
为了在不改变结构的情况下实现精确编辑，我们提出了概念滑块，它们是应用在预训练模型之上的即插即用低级适配器。通过使用简单的文本描述或一小组配对图像，我们训练概念滑块来表示所需属性的方向。在生成时，这些滑块可用于控制图像中概念的强度，从而实现细微的调整。

概念滑块可以在文本提示、图像对或 StyleGAN 样式空间神经元上进行训练，以识别扩散模型中的目标概念方向，从而实现精确的属性控制。

为什么允许扩散模型中的概念控制？

在图像生成和编辑过程中精确调节语义概念的能力为利用文本到图像扩散模型的艺术家开启了创意表达的新领域。正如艺术界最近的讨论所证明的那样，概念控制的局限性阻碍了创作者通过这些生成技术充分体现其愿景的能力。也有人表示，有时这些模型会生成模糊、扭曲的图像

修改提示往往会极大地改变图像结构，从而很难根据艺术偏好进行微调。例如，艺术家可能会花费数小时精心制作提示来生成引人注目的场景，但缺乏软调整较轻的概念（例如对象的精确年龄或风暴的氛围）来实现其创作目标的能力。对文本和视觉属性的更直观、更细粒度的控制将使艺术家能够调整世代以进行细微的改进。相比之下，我们的概念滑块通过识别与特定概念相关的可解释的潜在方向，可以对视觉属性进行细致的、连续的编辑。通过简单地调整滑块，艺术家可以对生成过程进行更细粒度的控制，并可以更好地塑造输出以符合他们的艺术意图。

如何控制模型中的概念？

我们提出两种类型的训练 - 单独使用文本提示和使用图像对。对于难以用文本描述的概念或模型无法理解的概念，我们建议使用图像对训练。我们首先讨论文本概念滑块的培训。

文本概念滑块

这个想法很简单但功能强大：预训练模型 P θ * ( x ) 具有一些预先存在的概率分布来生成概念 t，因此我们的目标是学习模型各层的一些低秩更新，从而形成根据原始预训练模型，新模型 P θ ( x )通过降低属性c - 的概率来重塑其分布，并在以t为条件时提高图像中属性c +的概率：

这类似于基于组合能量的模型背后的动机。在扩散中，它导致了一种简单的微调方案，该方案通过减去一个组件并添加一个以目标概念为条件的组件来修改噪声预测模型：

我们的概念滑块使用从原始冻结稳定扩散 (SD) 模型获得的条件分数对低等级适配器进行微调，以引导输出从一个属性转向另一个正在编辑的目标概念。
我们查询冻结的预训练模型来预测给定目标提示的噪声，并控制属性提示，然后我们使用训练时无分类器引导而不是推理的思想来训练编辑后的模型以相反的方向引导它。我们发现，以此目标微调滑块权重非常有效，生成了一个即插即用的适配器，可以直接控制目标概念的属性
在实践中，我们注意到这些概念是相互纠缠的。例如，当我们试图控制一个人的年龄属性时，他们的种族在推理过程中会发生变化。为了避免这种不必要的干扰，我们建议使用一小组保留提示来寻找方向。我们不是单独用一对单词来定义属性，而是通过使用多个文本组合来定义它，找到一个改变目标属性的方向，同时保持其他要保留的属性不变。

为了避免对编辑的不必要干扰并允许精确控制，我们建议寻找保留一组受保护概念的方向。例如，我们不是寻找从“年轻人”到“老年人”的方向，而是通过特别提及要保留的一组受保护属性来找到保留种族的方向，例如“亚洲年轻人”到“亚洲老人”。

视觉概念滑块

为了训练滑块无法仅用文本提示描述的概念，我们提出基于图像对的训练。我们特别根据梯度差来训练图像。滑块学习通过图像对 ( x A , x B )之间的对比度来捕捉视觉概念。我们的训练过程优化了 LORA 在消极和积极方向上的应用。对于积极 LoRA 的应用，我们将写ε θ + ，对于消极情况，我们将写ε θ - 。然后我们最小化以下损失：

为什么概念滑块排名低且混乱？

我们向滑块引入低等级约束有两个主要原因。首先，为了提高参数计数和计算的效率。其次，以更好的概括来精确捕捉编辑方向。解开的公式有助于将编辑与不需要的属性隔离开来。我们展示了一项消融研究，以更好地理解我们工作的这两个主要组成部分的作用。

解开目标有助于避免不必要的属性更改，例如编辑年龄时种族或性别的变化。低阶约束对于实现精确编辑也至关重要。

用于提高图像质量的滑块

Stable Diffusion XL 等大规模生成模型最有趣的方面之一是，尽管它们的图像输出经常会受到扭曲或模糊物体等失真的影响，但模型的参数包含生成更高质量的潜在能力。与默认情况下相比，失真更少的高质量输出。概念滑块可以通过识别修复常见扭曲的低阶参数方向来解锁这些能力。

修复滑块使模型能够生成更真实且不失真的图像。该滑块控制下的参数可帮助模型纠正生成输出中的一些缺陷，例如（a，b）中扭曲的人类和宠物，（b，c，d）中的不自然物体以及（b）中模糊的自然图像，C）

我们演示了“修复”滑块对细节的效果：它改善了密集排列对象的渲染，拉直了建筑线条，并避免了复杂形状边缘的模糊和扭曲。

我们演示了一个用于在稳定扩散中固定手的滑块。我们找到了一个方向，让双手变得更加真实，远离“画得不好的手”。

控制文本概念

我们研究文本概念滑块；我们的论文对以前的图像编辑方法和基于文本的提示编辑方法进行了更多的定量分析。

通过使用一小组要控制的属性的文本描述，可以训练概念滑块以允许在推理过程中对生成的图像进行细粒度控制。通过缩放滑块系数，用户可以控制编辑的强度。

我们展示了如何使用不同的滑块控制图像的多个属性。我们注意到，由于低秩公式，参数重量轻，易于共享和插入。

我们演示了“宜人”、“黑暗”、“热带”和“冬季”的天气滑块。为了令人愉快，我们注意到模型有时会使天气明亮或添加节日装饰。对于热带地区，它添加了热带植物和树木。最后，在冬天，它增加了雪。

我们演示了“皮克斯”、“现实细节”、“粘土”和“雕塑”的风格滑块。

控制视觉概念

可以使用我们的视觉滑块来控制微妙的视觉概念；我们的论文展示了与定制方法的比较和一些定量评估。

可以为无法用语言描述的概念创建滑块。这些滑块由艺术家使用 6-8 对图像创建。
StyleGAN 潜伏，尤其是 stylespace 潜伏，可以转移到稳定扩散。我们从 styleGAN 收集图像并在这些图像上训练滑块。我们发现扩散模型可以学习解开的样式空间神经元行为，使艺术家能够控制 styleGAN 中存在的细微差别属性。

Stylespace 潜伏可以从 styleGAN 转移到 Stable Diffusion XL。

组合多个滑块

我们的低等级滑块方向的一个关键优势是可组合性 - 用户可以组合多个滑块进行细致的控制，而不是一次仅限于一个概念。通过下载有趣的滑块集，用户可以同时调整多个旋钮来引导复杂的世代

我们展示了混合“熟食”和“精致餐饮”的食物滑块来穿越这个 2D 概念空间。有趣的是，该模型如何缩小“精致餐饮”的份量。

我们定性地展示了逐步组合多个滑块直至一次最多 50 个滑块的效果。我们使用远远超过 77 个令牌（SDXL 当前的上下文限制）来创建这 50 个滑块。这展示了我们方法的强大功能，它允许进行超出仅通过基于提示的方法所能实现的控制。
论文：https://arxiv.org/pdf/2311.12092.pdf
源代码：https://github.com/rohitgandikota/sliders
下载地址：https://aihub.videosreel.com/d/48-gai-nian-hua-kuai-kong-zhi-mo-xing-zi-yuan-xia-zai