3DGS其二：StreetGaussiansforModelingDynamicUrbanScenes1.背景介绍1.1静态场景建模1.2动态场景建模2.算法2.1背景模型2.2目标模型3.训练3.1跟踪优化4.下游任务Reference：StreetGaussiansforModelingDynamicUrbanScenes1.背景介绍1.1静态场景建模基于场景表达的不同，可以将场景重建分为volume-based和point-based：我感觉这里说的其实是隐式辐射场和显式辐射场更贴切。volume-based：用MLP网络表示连续的体积场景，如Mip-NeRF360、DNMP等将其应用场

系列文章目录代码：https://jumpat.github.io/SAGA.论文：https://jumpat.github.io/SAGA/SAGA_paper.pdf来源：上海交大和华为研究院文章目录系列文章目录摘要一、前言二、相关工作1.基于提示的二维分割2.将2D视觉基础模型提升到3D3.辐射场中的三维分割三、Methodology1.3DGaussianSplatting(3DGS)2.整体框架3.训练高斯特征3.1SAM-guidanceLoss3.2CorrespondenceLoss4.Inference5.基于三维先验的后处理四、实验1.数据集2.定量实验3.定性实验4.失

本文经自动驾驶之心公众号授权转载，转载请联系出处。StreetGaussians的动机在自动驾驶领域，动态街景重建有着重要的应用场景，比如数据生成、自动标注、闭环仿真等。由于对重建质量和效率有较高的要求，这方面的技术仍旧临着巨大的挑战。对于单目视频建模动态城市街景的问题，近期方法主要是基于NeRF并结合跟踪车辆的姿态，从而重建出高真实感的视图。然而训练和渲染速度慢、对跟踪车辆姿态精度需求高，使其在很难真正被应用起来。我们提出了StreetGaussians，这是一种新的显式场景表示方法，可以解决所有这些限制。开源链接：StreetGaussiansforModelingDynamicUrban

[paper|proj]给定FLAME，基于每个三角面片中心初始化一个3DGaussian（3DGS）；当FLAMEmesh被驱动时，3DGS根据它的父亲三角面片，做平移、旋转和缩放变化；3DGS可以视作mesh上的辐射场；为实现高保真的avatar，本文提出一种蒙皮（binding）继承策略，在优化过程中，保持蒙皮对3DGS的控制；本文贡献如下：提出GaussianAvatars，通过将3DGS绑定至FLAME模型，实现可驱动的headavatars；设计了一种蒙皮继承策略，使得在保持蒙皮控制的情况下，3DGS的新增和移除。近期工作静态场景表征NeRF用神经网络，以辐射场的形式存储场景；后续