arXiv:2312.06224Submitted11December,2023;originallyannouncedDecember2023.这篇综述文章很长，本文对各部分简要概述。【文章整体概述】医学视觉语言预训练（VLP）最近已经成为解决医学领域标记数据稀缺问题的一种有希望的解决方案。通过利用成对或非成对的视觉和文本数据集进行自监督学习，模型能够获得大量知识并学习强大的特征表示。这样的预训练模型有潜力同时提升多个下游医学任务，减少对标记数据的依赖。然而，尽管近期取得了进展并显示出潜力，目前还没有一篇综述文章全面探讨了医学VLP的各个方面和进展。在本文中，特别审视了现有工作，通过不同的预

声明：笔者翻译论文仅为学习研究，如有侵权请联系作者删除博文，谢谢！源论文地址：[2210.06551]MotionBERT:UnifiedPretrainingforHumanMotionAnalysis(arxiv.org)项目：MotionBERT摘要我们提出了一个统一的训练前框架MotionBERT，以解决人体运动分析的不同子任务，包括3D姿势估计、基于骨骼的动作识别和网格恢复。该框架能够利用各种人体运动数据资源，包括运动捕捉数据和野外视频。在预训练中，托词任务要求运动编码器从有噪声的部分2D观测中恢复潜在的3D运动。预先训练的运动表示因此获得关于人体运动的几何、运动学和物理知识，因此可

paper:Don'tstopPretraining:AdaptLanguageModelstoDomainsandTasksGitHub：https://github.com/allenai/dont-stop-pretraining论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptivepretraining）和TAPT任务适应预训练（task-adaptivepretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新

paper:Don'tstopPretraining:AdaptLanguageModelstoDomainsandTasksGitHub：https://github.com/allenai/dont-stop-pretraining论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptivepretraining）和TAPT任务适应预训练（task-adaptivepretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新