引言：北京时间：2023/3/17/7:18，刚刚快乐的早锻炼回来（不对，应该说回来有一会了），因为此时我已经吃完早饭，洗过澡了；现在回想起上学期，就算是第二天需要晨跑（6点起床），但我依然毫不畏惧，博客没写完，或者视屏没看完，我都会硬刚（有时到凌晨2-3点），但大部分时间都是硬刚都1点左右，然后写完博客（顺带会发个朋友圈，哈哈哈！（浏览量）），然后快乐的去睡觉，然后就算6点起床，也不怎么当回事（但是这样是不好滴），长逗严重，所以当时我对这个早锻炼活动可以说是万般的厌恶（认为，这种活动结束后，大家不都是直接回到宿舍，然后继续睡吗？这不是影响我们的作息吗？有什么意义呢？），但是现在，我发现我的看
引言：北京时间：2023/3/17/7:18，刚刚快乐的早锻炼回来（不对，应该说回来有一会了），因为此时我已经吃完早饭，洗过澡了；现在回想起上学期，就算是第二天需要晨跑（6点起床），但我依然毫不畏惧，博客没写完，或者视屏没看完，我都会硬刚（有时到凌晨2-3点），但大部分时间都是硬刚都1点左右，然后写完博客（顺带会发个朋友圈，哈哈哈！（浏览量）），然后快乐的去睡觉，然后就算6点起床，也不怎么当回事（但是这样是不好滴），长逗严重，所以当时我对这个早锻炼活动可以说是万般的厌恶（认为，这种活动结束后，大家不都是直接回到宿舍，然后继续睡吗？这不是影响我们的作息吗？有什么意义呢？），但是现在，我发现我的看
文章目录前言AbsIntro2.Preliminary2.1.UbiasedLearningtoRank2.2.ExistionULTRDatasets3.DatasetDescription3.1.LargeScaleWebSearchSessions3.2.ExpertAnnotationDataset3.3.DatasetAnalysis4.BenchmarkandBaselines4.1.Baselines4.2.Metrics4.3.PerformanceComparison4.5.PerformanceComparisononTailQuery5.Discussion5.1.Dat
文章目录前言AbsIntro2.Preliminary2.1.UbiasedLearningtoRank2.2.ExistionULTRDatasets3.DatasetDescription3.1.LargeScaleWebSearchSessions3.2.ExpertAnnotationDataset3.3.DatasetAnalysis4.BenchmarkandBaselines4.1.Baselines4.2.Metrics4.3.PerformanceComparison4.5.PerformanceComparisononTailQuery5.Discussion5.1.Dat
最近去参会，看到了大量关于Prompt相关的论文，或者说跟NLPNLU相关的新论文或多或少都使用到了Promptlearning的一些思想或者设置。由于本人主业不是是做NLP的，所以对NLP顶会的这一现象觉得很有意思，趁闲暇学习了一下Promptlearning。网上讲解的帖子很多，我整理了一些帖子的核心内容，也写一下我自己在学习过程中的感悟。-----手动分割----1.大型语言模型的进化史这里引入刘鹏飞大佬的的观点，他在论文中提到，语言模型在Deeplearning时代，大致经历了四个阶段：完全监督的机器学习：通过构建特征工程，直接解决下游任务。完全监督深度神经网络：通过构建ML模型，训练
最近去参会，看到了大量关于Prompt相关的论文，或者说跟NLPNLU相关的新论文或多或少都使用到了Promptlearning的一些思想或者设置。由于本人主业不是是做NLP的，所以对NLP顶会的这一现象觉得很有意思，趁闲暇学习了一下Promptlearning。网上讲解的帖子很多，我整理了一些帖子的核心内容，也写一下我自己在学习过程中的感悟。-----手动分割----1.大型语言模型的进化史这里引入刘鹏飞大佬的的观点，他在论文中提到，语言模型在Deeplearning时代，大致经历了四个阶段：完全监督的机器学习：通过构建特征工程，直接解决下游任务。完全监督深度神经网络：通过构建ML模型，训练
文章目录前言0摘要1IntroductionandMotivatingWork2Approach2.0模型整体结构2.1数据集2.2选择一种高效的预训练方法2.3模型选择与缩放2.4训练3实验3.1zero-shot迁移3.1.1与VisualN-grams对比3.1.2PromptEngineeringandEnsembling3.1.3zero-shotCLIP性能分析3.2特征学习4ComparisontoHumanPerformance5数据重叠分析6Limitations7结论前言多模态模型：CLIP论文标题：LearningTransferableVisualModelsFromN
文章目录前言0摘要1IntroductionandMotivatingWork2Approach2.0模型整体结构2.1数据集2.2选择一种高效的预训练方法2.3模型选择与缩放2.4训练3实验3.1zero-shot迁移3.1.1与VisualN-grams对比3.1.2PromptEngineeringandEnsembling3.1.3zero-shotCLIP性能分析3.2特征学习4ComparisontoHumanPerformance5数据重叠分析6Limitations7结论前言多模态模型：CLIP论文标题：LearningTransferableVisualModelsFromN
卷友们好，我是rumor。虽然ChatGPT在大众眼里的热度可能已经过去了，但它prompt出了我的焦虑，于是最近一直在补大模型相关的工作。比起小模型，大模型有一个很重要的涌现能力（Emergentability）就是In-ContextLearning（ICL），也是一种新的范式，指在不进行参数更新的情况下，只在输入中加入几个示例就能让模型进行学习，如下图中用ICL做情感分析任务的栗子：忽略大模型的贵，这个范式具备不少优势：输入的形式是自然语言，可以让我们可以更好地跟语言模型交互，通过修改模版和示例说明我们想要什么，甚至可以把一些知识直接输入给模型这种学习方式更接近人类，即通过几个例子去类比
卷友们好，我是rumor。虽然ChatGPT在大众眼里的热度可能已经过去了，但它prompt出了我的焦虑，于是最近一直在补大模型相关的工作。比起小模型，大模型有一个很重要的涌现能力（Emergentability）就是In-ContextLearning（ICL），也是一种新的范式，指在不进行参数更新的情况下，只在输入中加入几个示例就能让模型进行学习，如下图中用ICL做情感分析任务的栗子：忽略大模型的贵，这个范式具备不少优势：输入的形式是自然语言，可以让我们可以更好地跟语言模型交互，通过修改模版和示例说明我们想要什么，甚至可以把一些知识直接输入给模型这种学习方式更接近人类，即通过几个例子去类比
