论文笔记--1.文章简介2.文章概括3文章重点技术3.1模型架构3.2训练数据3.3模型评估3.3.1文本3.3.1.1Science3.3.1.2Modelsizes3.3.1.3Multilingual3.3.1.4LongContext3.3.1.5Humanpreference3.3.2多模态3.3.2.1图像理解3.3.2.2视频理解3.3.2.3图像生成3.3.2.4音频理解3.4部署4.文章亮点5.原文传送门1.文章简介标题：Gemini:AFamilyofHighlyCapableMultimodalModels作者：GeminiTeam,Google日期：20232.文章概括
论文https://arxiv.org/pdf/2309.05519.pdf代码https://github.com/NExT-GPT/NExT-GPT/tree/main1.Motivation现有的多模态大模型大都只是支持输入端的多模态（Text、Image、Video、Audio等），但是输出端都是Text。也有一些现有的输入输出都是多模态的工作，如CoDi、Visual-ChatGPT、HuggingGPT等，这一类工作又存在下述问题因此，本文提出一种端到端训练的，支持任意模态输入输出MM-LLM（MultimodalLargeLanguageModel）——NExT-GPT。2.Ov
最近做实验要用到CMU-MOSI数据集，网上搜到的教程很少，经过一天时间的探索，最终成功安装配置数据集，这篇文章完整地整理一下该数据集的下载与使用方法。配置环境：window10，anaconda1.需要下载的内容步骤1：下载官方github的SDK包：CMU-MultiComp-Lab/CMU-MultimodalSDK(github.com)步骤2：解压的路径需要保存 2.anaconda环境配置官方github的readme中写了需要配置环境，但该命令是基于linux系统，windows系统需要按照以下步骤设置。步骤1：在anaconda的虚拟环境路径下的Lib\site-package
多模态融合Exchanging-basedMultimodalFusionwithTransformer论文阅读笔记一、Abstract二、引言三、相关工作3.1深度多模态融合四、方法4.1低维投影和embedding归一化低维投影Embedding归一化4.2多模态交换Transformer基础CrossTransformer4.3训练目标五、实验5.1多模态命名实体识别部署实施结果5.2多模态情感分析实施结果5.3消融研究5.4超参数敏感分析交换率θ\thetaθ初始层μ\muμ终止层η\etaη六、结论写在前面 又是一个周末&教师节，祝老师们节日快乐呀。依惯例，论文读起来~ 这是一篇
遥感多模态参考：FromSingle-toMulti-modalRemoteSensingImageryInterpretation:ASurveyandTaxonomyKeywords：multimodalremotesensing文章目录遥感多模态AbstractIntroductionTaxonomy1.Multi-sourceAlignment1.1SpatialAlignment1.2TemporalAlignment1.3Cross-elementAlignment1.4RelatedworkandChallenges2.Muti-sourceFusion2.1Homogeneou
摘要 提出SimCLR，用于视觉表征的对比学习，简化了最近提出的对比自监督学习算法，为了理解是什么使对比预测任务能够学习有用的表示，系统研究了提出框架的主要组成部分，发现：（1）数据增强的组成在定义有效的预测任务中起着关键的作用（2）在表示和对比损失之间引入一个可学习的非线性变换，大大提高了已学习表示的质量（3）与监督学习相比，对比学习受益于更大的批量规模和更多的训练步骤SimCLR学习的自监督表示训练的线性分类器达到了76.5%的top-1精度，比之前的技术水平提高了7%，与监督ResNet-50的性能相匹配。 方法对比学习框架 随机采样一个minibatch的数据（N个样本），定义生
论文地址：https://www.nature.com/articles/s41551-023-01045-x代码地址：https://github.com/RL4M/IRENE基于Transformer的表示学习模型，作为临床诊断辅助工具，以统一的方式处理多模态输入。将图像与文字转化为visualtokens和texttokens，通过一个双向的跨模态注意力机制块共同学习不同信息间的整体特征和其关联性来做出决策。第一个以统一方式使用人工智能处理多模态信息，在临床上辅助医生进行决策诊断。为后续医学领域人工智能处理多模态信息提供一种新的思路。Data胸腔医学中，除了胸部X射线，医生还需要考虑患者
文章目录论文链接摘要1contribution3MultimodalGraphTransformer3.1BackgroundonTransformers3.2Frameworkoverview框架概述3.3Multimodalgraphconstruction多模态图的构建TextgraphSemanticgraphDenseregiongraphGraph-involvedquasi-attention总结论文链接论文名：MultimodalGraphTransformerforMultimodalQuestionAnswering论文链接摘要尽管Transformer模型在视觉和语言任务
这里整理一下平时所用的多模态数据集以备之用，主要分为多模态分类(情感分类，影视分类)多模态问答多模态匹配(检索)多模态生成后面会不断地去添加，也希望能够帮到其他人，欢迎大家补充。【0】.多模态以及其他方向如何入门或者查找数据集？看到评论区有很多小伙伴对多模态方面不知道怎么入门，不知道使用哪些数据集，最简单的方法是找一篇最近最新的相关方向的多模态论文，通过relatedwork可以了解这个方向的发展，通过experiment了解这个方向比较受欢迎的一些数据集。论文可以用google学术或者arxiv查，基本上能查到目前大部分的论文。https://www.aclweb.org/anthology
MultimodalTokenFusionforVisionTransformers论文简介：具体实现：Alignment-agnosticfusionAlignment-awarefusionMultimodalTokenFusionResidualPositionalAlignment实验结果：论文简介：许多方法已经应用到了Transformer以解决单模态视觉任务，其中自注意模块被堆叠来处理图像等输入源。直观地说，向Transformer输入多种模式的数据可以提高性能，但注意力权重可能会被稀释，从而极大地削弱最终的性能。在本文中，作者提出了一种多模态Token融合方法（TokenFusi
