1.最近发现自己光探索SDWebUI功能搞了快两个月，但是没有理论基础后面科研路有点难走，所以在师兄的建议下，开始看b站视频学习一下扩散模型，好的一看一个不吱声，一周过去了写个博客总结一下吧，理理思路。不保证下面的内容完全正确，只能说是一个菜鸟的思考和理解，有大佬有正确的理解非常欢迎评论告知，不要骂我不要骂我。2.这里推荐up主，deep_thoughts投稿视频-deep_thoughts视频分享-哔哩哔哩视频(bilibili.com)我觉得对于学习而言只有学到了和没学到的差别，以前可能更多的是直接阅读文献，但如果有这样好的学者录个视频带你精读论文是比你自己埋头苦读五百年好太多太多了，学习
论文链接：ImprovedDenoisingDiffusionProbabilisticModels文章目录摘要引言去噪扩散概率模型定义实际训练对数似然改善可学习的∑θ(xt,t)\sum_{\theta}(x_t,t)∑θ(xt,t)噪声添加方式改善减少梯度噪声结果和消融采样速度改善与GANs对比扩展模型尺寸相关工作结论摘要去噪扩散概率模型(DDPM)是一类生成模型，最近被证明可以产生优秀的样本。本文表明，通过一些简单的修改，ddpm也可以在保持高样本质量的同时实现竞争对数似然。此外，发现反向扩散过程的学习方差允许以更少数量级的正向采样进行采样，而样本质量的差异可以忽略不计，这对于这些模
前言ImprovedDenoisingDiffusionProbabilisticModels(IDDPM)是上一篇DenoisingDiffusionProbabilisticModels(DDPM)的改进工作。之前一些重要的公式已在上一篇博客DDPM原理与代码剖析说过,这里将不再赘述。本文主要将一些改进点和代码的解释。本文参考视频58、ImprovedDiffusion的PyTorch代码逐行深入讲解,up讲解得很清晰，推荐观看。本文不断更新中ing…DDIM针对采样进行了优化，利用respace技巧减少了采样步骤DDIM原理及代码(Denoisingdiffusionimplicitmo
文章目录概述代码实现image_trian.pydefcreate_model_and_diffusion()defcreate_gaussian_diffusion()SpacedDiffusion类GaussianDiffusion类⭐LOOKHERE⭐边角料noisescheduling概述DMbeatGANs作者改进了DDPM模型，提出了三个改进点，目的是提高在生成图像上的对数似然第一个改进点方差改成了可学习的，预测方差线性加权的权重第二个改进点将噪声方案的线性变化变成了非线性变换第三个改进点将loss做了改进，Lhybrid=Lsimple+λLvlb（MSEloss+KLloss）
文章目录概述代码实现image_trian.pydefcreate_model_and_diffusion()defcreate_gaussian_diffusion()SpacedDiffusion类GaussianDiffusion类⭐LOOKHERE⭐边角料noisescheduling概述DMbeatGANs作者改进了DDPM模型，提出了三个改进点，目的是提高在生成图像上的对数似然第一个改进点方差改成了可学习的，预测方差线性加权的权重第二个改进点将噪声方案的线性变化变成了非线性变换第三个改进点将loss做了改进，Lhybrid=Lsimple+λLvlb（MSEloss+KLloss）
在完成IDDPM论文学习后，对github上的官方仓库进行学习，通过具体的代码理解算法实现过程中的一些细节；官方仓库代码基于pytorch实现，链接为https://github.com/openai/improved-diffusion。本笔记主要针对项目中训练部分代码进行注释解析，主要涉及仓库项目中的image_train.py、script_util.py、train_util.py、resample.py、dist_util.py文件。文章目录image_train.pyscript_util.pytrain_util.pyresample.pydist_util.pyimage_tr
