Diffusion

Diffusion Models: A Comprehensive Survey of Methods and Applications

---

• paper https://arxiv.org/abs/2209.00796

• code https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy

---

Abstract

扩散模型，全称为扩散概率模型（Diffusion Probabilistic Model）。最简单的一类扩散模型，是去噪扩散概率模型（Denoising Diffusion Probabilistic Model），也就是常说的DDPM。

Contributions

• Survey

Related Work

• DDPM
• DDIM
• LDMs
• Stable Diffusion
• CLIP

Methodology

Overview

Forward diffusion process

• 将训练集图像增加T次噪声，最终得到服从标准正太分布的噪声图像。这个过程是马尔科夫过程，即当前时刻的图像之和上一个时刻图像有关，而与之前时刻图像无关。
• 

Reverse diffusion process

• 从纯噪声图像中，通过T部去噪过程，最终生成原始图像
• 训练去噪网络时，用神经网络你和T个均值即可，不用拟合方差
• 

Training Loss

• 

Training and Sampling

• 训练过程如图左边 Algorithm 1 Training部分：
  1. 从标准高斯分布采样一个噪声 ϵ∼N(0,I) ；
  2. 通过梯度下降最小化损失 ∇θ|ϵ−zθ(α¯tx0+1−α¯tϵ,t)|2 ；
  3. 训练到收敛为止（训练时间比较长，T代码中设置为1000）
• 测试（采样）如图右边 Algorithm 2 Sampling部分：
  1. 从标准高斯分布采样一个噪声 xT∼N(0,I) ；
  2. 从时间步 T 开始正向扩散迭代到时间步 1；
  3. 如果时间步不为1，则从标准高斯分布采样一个噪声 z∼N(0,I) ，否则 z=0；
  4. 根据高斯分布计算每个时间步 t 的噪声图；

Unconditional and Conditional Diffusion Models

• class labels
  • Classifier Guided Diffusion
  • classifier-free guidance
• a piece of descriptive text
  • CLIP guidance

APPLICATIONS OF DIFFUSION MODELS

Experiments

• Image Super Resolution, Inpainting, Restoration, Translation, and Editing.

• Multi-Modal Generation

• Stable diffusion

Conclusions

• 一切皆可生成

References

• https://segmentfault.com/a/1190000043744225
• https://lilianweng.github.io/posts/2021-07-11-diffusion-models/