Learning-based Methods for Diffusion Distillation - 基于学习的方法做加速采样
TiankaiHang opened this issue · comments
CONSISTENCY TRAJECTORY MODELS: LEARNING PROBABILITY FLOW ODE TRAJECTORY OF DIFFUSION
Motivation
主要在 Consistency Models
的基础上进行改进。Consistency Models
的一个缺点是直接预测
于是这篇文章的意图就比较明显,就是说我不止要对真实数据点
前置知识
Diffusion的采样过程可以想象是在一条轨迹上走,从噪声点
在 EDM
框架中用Denoiser 表示
生成过程实际上就是
具体方法
CTM predicts both infinitesimally small step jump and long step jump of the PF ODE trajectory.
首先定义一个从
对连续形式实际训练比较困难,受Euler solver启发表示为
其中
我们预测的target 是
算一下可以发现 denoiser function
加上残差项
具体技术
- 一个是从
$t$ 走到$s$ 然后再走到0 - 一个是先用pretrain的模型从
$t$ 走到$u$ ,然后从$u$ 走到$s$ 然后再走到0
两者之间计算损失。
总的损失