Stable Diffusion：开源图像生成
Stability AI 发布开源的 Stable Diffusion，引爆文本到图像生成革命。
事件概述
2022年8月，Stability AI 发布了开源的 Stable Diffusion 模型。这是一个基于潜在扩散模型的文本到图像生成系统，可以在消费级显卡上运行。与 DALL·E 2 等闭源模型不同，Stable Diffusion 的完全开源使得任何人都能部署和改进模型。这引发了创意领域的变革：艺术家、设计师和普通用户都可以轻松生成高质量图像。开源社区迅速发展出各种衍生模型和工具，如 ControlNet、LoRA 等。Stable Diffusion 被认为是推动生成式 AI 民主化的里程碑。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
Stable Diffusion 于 2022 年 8 月 22 日发布，由 Stability AI 联合慕尼黑大学 CompVis 团队（负责人 Robin Rombach）与 Runway ML 共同推出。其技术基石是 Rombach 等人 2021 年的潜空间扩散模型（LDM，CVPR 2022 最佳论文）。此前 DALL-E 2、Midjourney 等文生图模型均闭源且需云端算力，普通用户无法本地运行。Stable Diffusion 的关键决策是把扩散过程从像素空间移到压缩的「潜空间」中，从而把显存需求降到消费级显卡可承受的范围（约 6—8GB），并以 CreativeML Open RAIL-M 协议开源权重。这一开放姿态让任何人都可下载、修改和商用，瞬间点燃了开源生成式图像生态。
核心要点
- 1基于潜空间扩散（LDM），先在低维潜空间去噪，再解码回像素，大幅省算力。
- 2其「三件套」中：VAE 编码器压缩图像、CLIP 文本编码器提供条件、U-Net 在潜空间迭代去噪。
- 3以 8×8 空间压缩，SD 1.x 的 U-Net 约 8.6 亿参数，可在普通消费级显卡本地运行。
- 4训练数据来自 LAION-5B（约 58 亿图文对）及其美学子集，规模空前。
- 5以 CreativeML Open RAIL-M 协议开源权重，这是第一次让顶级文生图模型可在本地部署。
- 6由此催生了 WebUI、LoRA、ControlNet 等海量衍生工具与社区微调模型生态。
原理与技术细节
Stable Diffusion 的工作流分三步。先用一个变分自编码器（VAE）把 512×512 的图压缩成 64×64 的潜表示——相当于把数据量缩小约 64 倍，扩散就在这块「小块」上进行，而不是在百万级像素上，因此又快又省。去噪主体是 U-Net：它从纯噪声潜变量出发，在每一步根据文本提示预测「该去掉多少噪声」，反复迭代约 20—50 步后得到干净潜图。文本条件是靠 CLIP 文本编码器把 prompt 变成 77 个 token 的嵌入，再通过交叉注意力「注入」U-Net 的每一层，决定画面内容。打比方：VAE 像压缩/解压软件，U-Net 像逐步擦除噪点的画师，CLIP 像给画师念要求的导演。最后 VAE 解码器把潜图还原成可见图像。
影响与后续
Stable Diffusion 把顶级文生图能力带到普通人的电脑上，催生了庞大的开源创作与二次开发生态，深刻改变了插画、设计、影视原型等行业。其局限与争议同样突出：训练所用的 LAION 数据含受版权保护图像，引发 Getty Images 与多位艺术家对 Stability AI 的集体诉讼；模型也易被用于深度伪造与不当内容。围绕训练数据授权与艺术家权益的法规争论至今未决，成为生成式 AI 治理的焦点案例。
学习要点
- 把扩散放在「潜空间」而非像素空间，是用工程巧思换算力自由的经典范例。
- 开源权重比闭源 API 更能激发生态：工具、微调、社区创新接踵而来。
- 文本条件通过交叉注意力注入，是可控生成的关键机制。
- 强大的生成能力伴随版权、滥用与监管等不可回避的社会成本。
术语表
在自编码器压缩出的低维表示上做扩散去噪，而非直接在像素上，从而大幅降低算力需求。
一种把高维数据压缩为低维潜变量并能重建的神经网络，Stable Diffusion 用它编解码图像。
让模型在生成时「读取」另一路信息（如文本）的机制，用来把文本条件注入图像去噪。