note文章目录note一、diffusion模型1.1StableDiffusion简介1.2和GAN对比的优势二、Latentdiffusionmodel原理2.1潜在空间(LantentSpace)2.2自动编码器和U-Net2.3文本编码器三、代码实践3.1模型权重checkpoints3.2StableDiffusionv1模型推理3.3安装StableDiffusionWebUiReference一、diffusion模型1.1StableDiffusion简介稳定扩散模型（StableDiffusionModel）是一种用于描述信息传播和创新扩散的数学模型。它基于经典的扩散方程，
LatentDiffusion论文笔记论文：High-ResolutionImageSynthesiswithLatentDiffusionModelshttps://arxiv.org/abs/2112.10752https://github.com/CompVis/latent-diffusion模型结构简单来说，就是先用一个编码器E\mathcal{E}E把图片压缩到隐空间（H×W×3→h×w×cH\timesW\times3\toh\timesw\timescH×W×3→h×w×c），然后让Diffusion模型ϵθ\epsilon_\thetaϵθ在压缩后的特征上工作，最后用解码器
High-ResolutionImageSynthesiswithLatentDiffusionModels（CVPR2022）https://arxiv.org/abs/2112.10752GitHub-CompVis/latent-diffusion:High-ResolutionImageSynthesiswithLatentDiffusionModelsGitHub-CompVis/stable-diffusion:Alatenttext-to-imagediffusionmodelAI作画近期取得如此巨大进展的原因个人认为有很大的功劳归属于StableDiffusion的开源。Sta
L2M-GAN:LearningtoManipulateLatentSpaceSemantics forFacialAttributeEditing2021CVPR L2M-GAN:LearningToManipulateLatentSpaceSemanticsforFacialAttributeEditing(thecvf.com)（个人理解，欢迎指正错误） Introduction 本文是一篇面部属性编辑的文章，虽然与人脸匿名是两个角度，但是任务是相通的。 面部属性编辑有两点要求：1、目标属性特征应当正确出现在编辑后的人脸上；2、任何不相关的面部特征均不应当在编辑后被修改。针对以上
L2M-GAN:LearningtoManipulateLatentSpaceSemantics forFacialAttributeEditing2021CVPR L2M-GAN:LearningToManipulateLatentSpaceSemanticsforFacialAttributeEditing(thecvf.com)（个人理解，欢迎指正错误） Introduction 本文是一篇面部属性编辑的文章，虽然与人脸匿名是两个角度，但是任务是相通的。 面部属性编辑有两点要求：1、目标属性特征应当正确出现在编辑后的人脸上；2、任何不相关的面部特征均不应当在编辑后被修改。针对以上
识别和生成是人工智能领域中的两大核心任务，如果能将二者合并到一个统一的系统中，这两个任务应该能实现互补。事实上，在自然语言处理中，像BERT[1]这样的模型不仅能够生成高质量的文本，还能够提取文本中的特征。然而，在计算机视觉领域，目前的图像生成模型和识别模型大多是分开进行训练，没有充分利用这两个任务的协同作用。这主要是由于图像生成和图像识别的模型通常具有本质上的结构差异：图像生成的输入是低维度的特征或噪声，而输出是高维度的原始图像；与之相反，图像识别的输入是高维度的原始图像，而输出是低维度的特征。最近，来自MIT和GoogleResearch的研究人员提出了一种基于图像语义符掩码的表征学习方法
识别和生成是人工智能领域中的两大核心任务，如果能将二者合并到一个统一的系统中，这两个任务应该能实现互补。事实上，在自然语言处理中，像BERT[1]这样的模型不仅能够生成高质量的文本，还能够提取文本中的特征。然而，在计算机视觉领域，目前的图像生成模型和识别模型大多是分开进行训练，没有充分利用这两个任务的协同作用。这主要是由于图像生成和图像识别的模型通常具有本质上的结构差异：图像生成的输入是低维度的特征或噪声，而输出是高维度的原始图像；与之相反，图像识别的输入是高维度的原始图像，而输出是低维度的特征。最近，来自MIT和GoogleResearch的研究人员提出了一种基于图像语义符掩码的表征学习方法
