训练阶段,扩散模型学会在不同噪声水平下判断“当前样本应该往哪里移动”。推理阶段,我们从噪声 出发,把这个方向连续兑现成图像、视频或动作序列。采样器要在有限模型调用次数里,尽量沿着正确轨迹从高噪声分布走回数据分布。 扩散采样的主线是:模型给方向,采样器决定怎样沿这个方向走。DDPM、DDIM、Euler、He
-
扩散模型:条件控制与 Guidance
扩散模型的条件控制,常被一句“调 prompt 和 CFG scale”带过。真正做系统时,这句话太粗:prompt、边缘图、姿态、mask、参考图和首帧,首先要被模型在每一步去噪时读到;而 guidance 只是在采样时,把“有条件”和“基准方向”的差额放大。前者是条件怎么进入模型,后者是采样轨迹怎么被拉扯。 把这两
-
扩散模型:发展脉络
扩散模型的发展可以放在一条连续主线上看: DDPM 解决如何稳定训练高质量生成模型, DDIM / ODE solver 解决如何更快采样, Consistency / LCM / DMD / Rectified Flow 继续追问能否把几十步甚至几百步压到几步或一步。 统一记号 后文统一使用这组记号: $$ x t=
-
扩散模型:一步生成、蒸馏与整流:把多步纠错压成少数大跳
扩散采样慢,不只是因为循环次数多。多步采样的每一步都在做小修正:先定大结构,再补关系、材质、边缘和高频纹理。把 30 步、50 步压到 4 步甚至 1 步,等于要求学生模型一次跨过教师原来很多个噪声区间。 采样器不再有几十次纠错机会时,少步模型要同时保住分布、细节、多样性和条件控制。 少步生成把线上推理成本转移到离线训
-
扩散模型:Consistency Models 与 Flow:终点映射和局部速度的边界
Consistency Models、LCM、Flow Matching 和 Rectified Flow 都能服务少步生成,但它们学习的对象不同。一致性路线学习轨迹上不同时间点到同一终点的映射;Flow 路线学习当前位置的局部速度,再由 ODE solver 积分出终点。两者可以共享教师轨迹或相同端点分布,不能因此视
-
扩散模型:扩散方法怎么选:先判断你在改哪一层成本
扩散方法对照最容易写成方法名大表:DDPM、DDIM、Euler、Heun、DPM-Solver++、Consistency、LCM、DMD、Rectified Flow 都排在一起,最后用“步数更少”做结论。这个读法很危险,因为这些方法改的不是同一个部件。 更实用的问法是:你能不能重训;想省的是在线网络评估次数、离线
-
other-recommend-note
post by Charles in 2024-09-29 00:11:30
-
algorithm-and-datastruct-note
post by Charles in 2024-09-29 00:09:32
-
compiler-design-note
post by Charles in 2024-09-29 00:04:43
-
computer-organization-and-architecture-note
post by Charles in 2024-09-29 00:04:26