小时候看动画片时，总是震撼于动画梦工厂里能让一幅画动起来的操作。也幻想过有朝一日成为神笔马良，能够让照片的人物动起来，而现在已经有了让照片面部表情动态化的成熟产品。那么给定一个人的照片，能不能让这个人模仿规定的动作动起来呢？与照片面部表情的动态生成相比，这个挑战更为复杂，因为它涉及对人体姿势随时间变化的理解，以及学习有关人类外观和服装细节的先验知识。近期，加州大学伯克利分校的研究团队提出了3DHM，这是一个基于扩散模型的两阶段框架，可以利用单张照片生成人物动画。首先，通过学习关于人体和服装的先验知识，以及单张照片中服装和纹理与动作的映射，然后渲染3D人物，从而合成一系列与目标动作相符，且与输入

输入一张任意姿势的照片，想让照片里的人跟随「指定视频」来进行动作模仿并不简单，除了肢体动作的模仿外，模型还需要对运动过程中衣服、人物外观的变化进行建模。图片如果输入图像是正面的，而模仿的视频动作包括转身的话，模型还需要「想象」出衣服的背面样子，以及衣服在转动过程中飘起的样子。为了解决这个问题，来自加州大学伯克利分校的研究人员提出了一个两阶段的、基于扩散模型的框架3DHM，通过从单个图像完成纹理图来合成3D人体运动，然后渲染3D人体以模仿视频中actor的动作。图片论文地址：https://arxiv.org/abs/2401.108893DHM模型中包含两个核心组件：1.学习人体和服装中不可见