新智元报道

【新智元导读】扩散模型在图像生成质量上已臻化境，视觉思中述篇生成但在“指令遵循”与“状态维持”上仍显稚嫩。创作决定AI视觉系统可靠性的总差致性核心指标，已从单纯的点意等综画质提升，转向生成结果能否持续遵守条件、文献维持时空状态，系统并符合人类认知与现实物理规律。分析

过去几年，视觉思中述篇生成扩散模型最显著的创作突破在于生成质量的指数级跃升。

从文本生成图像、总差致性图像编辑，点意等综到个性化定制、文献视频生成及三维内容创建，系统模型已能产出极具欺骗性的分析逼真视觉内容。单张图像往往难以与真实世界照片区分。视觉思中述篇生成

然而，随着生成任务复杂度的增加，一个比画质更底层的问题浮出水面：

图像看起来正确，不代表模型真正完成了任务。

• 指令遵循失败：要求生成三只猫，模型可能只画出两只；要求红色方块在蓝色圆球左侧，模型可能生成正确物体但位置或颜色关系颠倒。
• 身份一致性缺失：连续生成同一人物，每张图片面部精美，但五官特征并不属于同一个人。
• 时空状态断裂：视频中单帧逼真，但人物衣着突变、手中物体凭空消失，场景状态无法前后连贯。
• 多视图几何冲突：各角度视图合理，但无法还原为统一的三维结构。

这些并非单纯的“生成质量差”，而是生成一致性（Generation Consistency）的缺失——模型未能稳定遵守其应遵循的逻辑关系。

中国科学技术大学、火箭军工程大学、清华大学、华中科技大学、剑桥大学等机构的研究者联合发表重磅综述，系统梳理了500+篇相关文献，揭示了扩散模型视觉合成繁荣背后的“一致性危机”。该综述构建了关于一致性关系分类、评估方法及优化策略的全景图，为领域研究提供了清晰的框架。

论文地址：https://www.preprints.org/manuscript/202606.0870/v1
开源地址：https://github.com/Shawn-CodeDev/Awesome-Consistency-Diffusion-Visual-Generation

不同于按任务类型（文生图、编辑、视频等）的传统分类，本研究从更本质的问题出发：生成结果究竟需要与什么保持一致？

基于此，分散的研究被重新组织为三种核心关系：
1. 结果与外部条件的一致（听懂要求）
2. 不同生成状态之间的一致（维持状态）
3. 生成内容与人类/现实标准的一致（符合规范）

这三种关系对应了扩散模型从“理解指令”到“维持状态”再到“满足部署标准”的三个进阶层次。

生成模型需维护的三种一致性关系

1. 外部一致性（External Consistency）：结果与用户条件的对齐

定义：模型是否准确实现了用户输入的文本、布局、参考图或编辑指令？

典型失败模式：
* 文生图：物体遗漏、属性错绑（如“戴皇冠的狮子”只画了狮子或皇冠分离）、数量错误、空间关系混乱。
* 图像编辑：未保护不应变化的区域，导致背景或姿态意外改变。

核心机制：
* 语言-视觉对齐：如 Attend-and-Excite、BoxDiff、GLIGEN通过注意力修正和Grounding机制，强化文本单元与视觉实体的对应关系，解决“听懂但没做对”的问题。
* 多模态条件注入：ControlNet、T2I-Adapter、IP-Adapter将条件从文本扩展至姿态、深度、边缘和参考图，确保这些信号深度介入去噪过程，而非仅作为弱提示。
* 精准编辑控制：DiffEdit、Prompt-to-Prompt、InstructPix2Pix的核心在于划定编辑边界，确保在改变目标对象的同时，最大程度保留原有构图、姿态和背景。

关键点：外部一致性关注的不是条件是否被接收，而是条件是否在最终结果中可被清晰追踪和验证。

2. 内部一致性（Internal Consistency）：多结果间的状态维持

定义：当同一主体出现在不同图片、视角或时间序列中时，模型是否维护了同一对象和同一世界状态？

典型场景与失败模式：
* 个性化生成：DreamBooth、PhotoMaker、InstantID旨在解决身份持续性问题。难点不在于复制外观，而在于在视角、姿态、场景变化下，保持面部结构、发型、配饰等特征的稳定。
* 多视图生成：Zero-1-to-3、SyncDreamer、MVDream要求多张图像能由同一几何结构解释，而非仅是视觉相似。
* 视频/故事生成：AnimateDiff、StoryDiffusion需维护角色、服装、场景和事件状态沿时间的连续性。

核心挑战：
视频生成本质上是状态推理：“前面发生了什么，接下来允许发生什么？”若缺乏持久状态记忆，长序列必然出现身份漂移、物体消失和动作断裂。

3. 规范一致性（Normative Consistency）：符合人类与现实标准

定义：生成内容是否符合人类偏好、安全规范、物理规律及因果逻辑？即使完全符合Prompt，也可能在此层面失败。

三大维度：
* 偏好优化：ImageReward、HPS、VisionReward及 Diffusion-DPO、FlowGRPO利用人类反馈信号，优化生成结果的美学与主观质量。
* 安全生成：通过训练目标调整、参数编辑或输出过滤，降低危险、有害内容的生成概率。
* 物理与因果一致性：PhyBench、VideoPhy等基准测试暴露传统指标无法发现的错误，如物体穿透、重力失效、状态跳变及因果倒置。

一致性写入生成流程的不同位置

一致性并非单一模块的功能，而是贯穿生成流水线多个环节的系统工程：

1. 训练阶段（参数写入）：
2. 将身份、偏好、安全约束直接写入模型参数（如LoRA、微调）。
3. 优缺点：持续性强，但需额外训练成本，可能引发灾难性遗忘。
4. 条件接口（信号注入）：
5. ControlNet、GLIGEN、IP-Adapter等优化条件编码方式，确保外部信号成为有效约束。
6. 特点：灵活性强，不改变模型主体。
7. 去噪轨迹干预（过程修正）：
8. Attend-and-Excite、Prompt-to-Prompt在推理过程中检查并修正注意力分布或Latent特征。
9. 特点：无需重训，但过度干预可能降低画质或多样性。
10. 联合生成（跨实例共享）：
11. 针对视频、多视图任务，强制多帧/多视角共享特征、注意力或中间状态。
12. 特点：从单样本优化转向全局一致性优化。
13. 事后验证（结果筛选）：
14. 使用奖励模型、安全过滤器、物理验证器对生成结果进行筛选或重排序。
15. 特点：易于集成，但属于“亡羊补牢”，无法改变模型生成不一致的倾向。

注意：模块组合越多，冲突风险越高。不同模块可能修改同一特征或提出矛盾要求，需精细协调。

为什么现有评价经常“测不准”？

核心误区：试图用一个“万能总分”概括所有一致性能力。

现实困境：
* 观察单位不同：
* Prompt一致性：单图 vs 文本。
* 编辑一致性：编辑前 vs 编辑后图像对。
* 身份一致性：同一主体生成的多张图集合。
* 多视图一致性：多个视角的几何关联。
* 视频一致性：长时间序列的状态追踪。
* 指标错位：
* 单图高分无法证明跨帧身份不漂移。
* 相邻帧平滑不代表长序列逻辑连贯。
* 人脸相似度高不代表服装、配饰未变。
* 图文相似度高分不代表空间关系正确。

正确评估范式：
一致性评估应建立组合式评价体系，明确四个要素：
1. 观察对象：单图、图像对、集合、多视图还是序列？
2. 检查维度：语义、结构、身份、几何、时间状态还是规范标准？
3. 评估工具：VQA、特征相似度、几何信号、奖励模型、安全分类器或人工判断？
4. 输出指标：正确率、保持度、兼容性、偏好分数或风险诊断？

可信的系统不应只报告“整体更好”，而应披露在哪些约束上提升，又在哪些能力上付出了代价。

一致性并非越强越好：冲突与权衡

不同一致性目标之间常存在内在冲突：

• Prompt忠实度 vs 审美质量：严格遵循复杂Prompt可能导致构图僵硬、不自然。
• 身份绑定 vs 可编辑性：强身份锁定可能使人物难以适应新姿态或服装变化。
• 时间连贯性 vs 运动多样性：强跨帧共享可减少闪烁，但可能限制运动幅度，导致画面呆板。
• 安全约束 vs 创作自由：激进的安全过滤可能误伤正常概念，限制艺术表达。

未来方向：
系统需具备冲突感知与优先级管理能力，识别硬约束（必须满足）与软偏好（可调整），并在冲突时进行可解释的权衡。

从“高质量生成”迈向“可靠生成”

随着视觉生成走向编辑、个性化、长视频、三维资产及具身智能，视觉质量已不再是唯一瓶颈。模型必须具备以下新能力：

1. 冲突感知：理解条件间的矛盾，并确定解决优先级。
2. 持久且可编辑的状态：稳定保存身份与场景，同时支持新指令的动态修改。
3. 可解释评价：输出不仅限于总分，而是明确指出在何种一致性上成功或失败。
4. 世界结构建模：从像素相关性上升到对象、状态、动作、物理关系及因果演化的维护。

结语

一致性不是附加在画质之外的指标，而是重新理解生成任务的方式。它揭示了生成质量的本质：不是孤立样本的像素完美，而是输出与条件、输出与输出、输出与标准之间关系的稳定性。

• 外部一致性= 控制能力（对用户负责）
• 内部一致性= 记忆能力（对状态负责）
• 规范一致性= 世界约束能力（对标准负责）

未来，真正的智能生成系统将不再仅仅学习“如何画出一张合理的图”，而是学习“什么必须保持不变，什么可以改变，哪些约束在冲突时优先，以及生成行为对后续世界的影响”。只有实现这一点，视觉生成才能从“内容合成”真正迈向“可控、可持续、可验证的智能生成”。

参考资料：
https://www.preprints.org/manuscript/202606.0870/v1

编辑：LRST