寻找领域不变量：从生成模型到因果表征1领域不变的表征在迁移学习/领域自适应中，我们常常需要寻找领域不变的表征(Domain-invariantRepresentation)[1]，这种表示可被认为是学习到各领域之间的共性，并基于此共性进行迁移。而获取这个表征的过程就与深度学习中的“表征学习”联系紧密[2]。生成模型，自监督学习/对比学习和最近流行的因果表征学习都可以视为获取良好的领域不变表征的工具。2生成模型的视角生成模型的视角是在模型中引入隐变量(LatentVariable)，而学到的隐变量为数据提供了一个隐含表示(LatentRepresentation)。如下图所示[3]，生成模型描述
寻找领域不变量：从生成模型到因果表征1领域不变的表征在迁移学习/领域自适应中，我们常常需要寻找领域不变的表征(Domain-invariantRepresentation)[1]，这种表示可被认为是学习到各领域之间的共性，并基于此共性进行迁移。而获取这个表征的过程就与深度学习中的“表征学习”联系紧密[2]。生成模型，自监督学习/对比学习和最近流行的因果表征学习都可以视为获取良好的领域不变表征的工具。2生成模型的视角生成模型的视角是在模型中引入隐变量(LatentVariable)，而学到的隐变量为数据提供了一个隐含表示(LatentRepresentation)。如下图所示[3]，生成模型描述
李群和李代数目录李群和李代数引言1.0李群1.1群1.2李群基础定义2.0李代数2.1引出2.2李代数的定义2.3李代数\(so(3)\)2.4李代数\(se(3)\)3.0指数和对数映射3.1\(SO(3)\)上的指数映射3.2$SE(3)$上的指数映射4.0李代数求导与扰动模型4.1李群和李代数在计算上的对应关系4.2李代数求导模型4.3扰动模型4.4\(SE(3)\)上的扰动模型4.5相似变换及其李群和李代数5.0Sophus代码解析引言 为什么会有李群和李代数的引出。在通常的SLAM中，我们估计的无非就是在极短的时间内物体的一个相对位姿运动，然后进行累加，即可得到物体的当前位置，即S
李群和李代数目录李群和李代数引言1.0李群1.1群1.2李群基础定义2.0李代数2.1引出2.2李代数的定义2.3李代数\(so(3)\)2.4李代数\(se(3)\)3.0指数和对数映射3.1\(SO(3)\)上的指数映射3.2$SE(3)$上的指数映射4.0李代数求导与扰动模型4.1李群和李代数在计算上的对应关系4.2李代数求导模型4.3扰动模型4.4\(SE(3)\)上的扰动模型4.5相似变换及其李群和李代数5.0Sophus代码解析引言 为什么会有李群和李代数的引出。在通常的SLAM中，我们估计的无非就是在极短的时间内物体的一个相对位姿运动，然后进行累加，即可得到物体的当前位置，即S
模型起源2015年的时候，有几位大佬基于非平衡热力学提出了一个纯数学的生成模型(Sohl-Dicksteinetal.,2015)。不过那个时候他们没有用代码实现，所以这篇工作并没有火起来。直到后来斯坦福大学(Songetal.,2019)和谷歌大脑(Hoetal.,2020)有两篇工作延续了15年的工作。再到后来2020年谷歌大脑的几位大佬又把这个模型实现了出来(Hoetal.,2020)，因为这个模型一些极其优秀的特性，所以它现在火了起来。扩散模型可以做什么？呢它可以做一些。条件生成和非条件生成。在图像、语音、文本三个方向都已经有了一些应用，并且效果比较突出。比较出圈的工作有我刚介绍的te
模型的泛化能力机器学习的目标是发现模式(pattern)。所以这需要确定模型是真正发现了泛化的模式还是简单的记住了数据。先讲个小故事，我们大三那年参加比赛，用机器学习写了个语言识别，虽然准确率很低，只有50%。当时比赛一个评委不信那是机器学习写的，一口咬定我们是写的数据库比对……泛化和记住数据有什么区别呢？就好像给AB两个学生一堆数学资料让他学习。期末考试的时候，如果出原题，两个人都能答100分，这个你没办法区别他们学的好坏。但是如果重新出题，A不及格B90分，那你就可以确定：A只是死记硬背记住原题，而B是真正地理解了解题思路。A就是记住数据，B就是泛化。训练误差和泛化误差训练误差（train
模型起源2015年的时候，有几位大佬基于非平衡热力学提出了一个纯数学的生成模型(Sohl-Dicksteinetal.,2015)。不过那个时候他们没有用代码实现，所以这篇工作并没有火起来。直到后来斯坦福大学(Songetal.,2019)和谷歌大脑(Hoetal.,2020)有两篇工作延续了15年的工作。再到后来2020年谷歌大脑的几位大佬又把这个模型实现了出来(Hoetal.,2020)，因为这个模型一些极其优秀的特性，所以它现在火了起来。扩散模型可以做什么？呢它可以做一些。条件生成和非条件生成。在图像、语音、文本三个方向都已经有了一些应用，并且效果比较突出。比较出圈的工作有我刚介绍的te
模型的泛化能力机器学习的目标是发现模式(pattern)。所以这需要确定模型是真正发现了泛化的模式还是简单的记住了数据。先讲个小故事，我们大三那年参加比赛，用机器学习写了个语言识别，虽然准确率很低，只有50%。当时比赛一个评委不信那是机器学习写的，一口咬定我们是写的数据库比对……泛化和记住数据有什么区别呢？就好像给AB两个学生一堆数学资料让他学习。期末考试的时候，如果出原题，两个人都能答100分，这个你没办法区别他们学的好坏。但是如果重新出题，A不及格B90分，那你就可以确定：A只是死记硬背记住原题，而B是真正地理解了解题思路。A就是记住数据，B就是泛化。训练误差和泛化误差训练误差（train
