一本自监督学习全套攻略来了！
今天，Yann LeCun、田渊栋等机构的研究者共同发表了一篇70页论文「自监督学习的食谱」。
LeCun称，你曾经想知道，却又不敢问的自监督学习内容全在这儿了。
先来看看这篇论文阵容有多强大，除了Meta AI的研究员，还汇集了纽约大学、马里兰大学、加利福尼亚大学戴维斯分校、蒙特利尔大学等6所大学研究人员的智慧。
可想而知，这篇论文含金量有多足了。
论文地址：https://arxiv.org/pdf/2304.12210.pdf
自监督学习（SSL），被称为人工智能的暗物质，是推进机器学习发展的一条有希望的道路。
然而，就像烹饪一样，SSL是一门精致的艺术，有很高的门槛。
尽管人们对许多组件非常熟悉，但成功地训练一个SSL，需要做出从假设任务，到训练超参数等一系列令人眼花缭乱的选择。
这篇最新论文的目标就是，降低进入SSL研究的门槛，像烹饪书方式一样提供最新的「SSL食谱」。
Meta的研究科学家田渊栋表示，如果你想做SSL研究，就来看看这本书吧。
70页巨长论文看似让人劝退，但其实参考文献就占了26页。
这篇论文究竟讲了什么内容，先来看看满屏糊脸的目录。
正如论文作者所称，要成功烹饪，你必须首先学习基本的技巧：切菜、炒菜等。
第一部分主要介绍什么是SSL，重要性，以及写这本「食谱」的主要原因。
第二部分讲了SSL的家族和来源，给出了常用词汇，从自我监督学习的基本技巧开始手把手教你。
其中包括：
-SSL的起源
-深度度量学习家族：SimCLR/NNCLR/MeanSHIFT/SCL
-自蒸馏家族：BYOL/SimSIAM/DINO
-典型相关分析家族：VICReg/BarlowTwins/SWAV/W-MSE
-掩码图像建模
-自监督学习的理论统一：SSL理论研究；表征的维度坍缩
-预训练数据
方法有了，接下来，厨师必须学会熟练运用这些技巧，做出一道美味的菜肴。
这不仅需要学习现有的食谱，还要会自己组合食材，并会评估这道菜。
因此，第三部分就是重中之重了。
这部分主要介绍了常见的训练方法，包括超参数的选择，如何使用组建，以及评估方法。
-数据增强的作用：multi-crop的作用
-projector的作用
-SSL的统一先验还是SSL在不平衡数据上的失败
-教师学生架构具体策略：移除平均教师的作用；projector在自标记SSL中的作用
-标准超参数的作用：
小批量大小的作用；学习率（调度器）和优化器的作用；重量衰减的作用；Transformer注意事项
-高性能掩码图像建模技术
-评估SSL模型：带标签评估；无标签评估；超越分类；视觉评估
-提速训练：分布式训练；用FFCV和其他加速训练更快；加速视觉Transformer的训练
第四部分：将自监督学习扩展到图像和分类之外
-其他数据域的策略
-将多个模式纳入SSL训练
-用本地化方法构建密集预测任务的特征提取器
在此，作者还分享了前沿的研究人员关于常见训练配置，以及陷阱的实用技巧。
最后，文章总结道，自监督学习（SSL）为提高机器智能建立了一个新的范式。
尽管取得了许多成功，但SSL仍然是一个令人生畏的领域，其中包含了许多复杂的实现方法。
由于研究的快速发展和SSL方法的广泛应用，要了解这个领域仍然具有挑战性。
这对于那些最近加入该领域的研究者和从业者来说是一个问题，从而为SSL研究和部署创造了很高的进入门槛。
作者希望这个实用指南能够帮助降低这些壁垒，使任何背景的好奇研究者都能探索各种方法，了解各种调整参数的作用，并获得在SSL领域取得成功所需的技能。
2021年，LeCun曾在自家博客上发文首次提出，自监督学习是「人工智能暗物质」这一概念。
一直以来，人工智能系统在标记数据中学习取得了很大的进展。然而，这些模型仅在训练专家模型时表现得非常好，应用非常有限。
实际上，给世界上所有东西贴上标签是无法穷尽的。这就不得不另辟蹊径，许多研究者发现，监督学习是构建更智能「多面手」模型更有力的方法。
如果AI系统能够收集到比训练数据集更深入、更细致的现实理解，最终能够实现接近人类智能水平的智能。
我们认为，自监督学习是在人工智能系统中构建这种背景知识和近似常识形式的最有前途的方法之一。
SSL从数据本身获得监督信号，通常利用数据中的底层结构。自监督学习的一般技术是预测任何未观察到的，或隐藏的输入部分 (或属性) 。
此外，还可以预测，视频中过去或未来的帧(隐藏数据)和当前的帧(观察数据)。
由于SSL使用的是数据本身的结构，所以它可以实现跨模式的能力，比如（视频、音频），以及跨大型数据集利用各种监督信号。
在计算机视觉领域，自监督学习通过在10亿张图像上训练的SEER等模型，推动了数据规模的扩大。
SSL计算机视觉方法已经能够匹配，或在某些情况下超过模型训练的标记数据，甚至也包括竞争基准ImageNet。
此外，自监督学习也被成功地应用在其他形式，如视频、音频和时间序列。
自监督学习定义了一个基于未标记输入的前提任务，以产生描述性和可理解的表示。
在自然语言中，一个常见的SSL目标是在文本中掩盖一个词去预测周围的词。这种目标预测是为了鼓励模型来捕捉文本和词语之间的关系，并且不需要任何标签。
相同的SSL模型表示可以在一系列下游任务中使用，比如翻译文本、汇总、甚至生成文本等任务。
可见，SSL使人工智能系统能够从巨量的数据中学习，这对于识别和理解更微妙、更不常见的世界表示模式很重要。
一位网友对自己博士要做的领域产生疑问，向LeCun求助：
「还值得攻读人工智能博士学位吗？我想做医学领域的多模态诊断模型。但随着最近新模型的涌现，我担心会被大公司悄悄地超越，或者因没有做出任何重大贡献而浪费时间。」
在LeCun看来，
1. 大多数好的想法仍然来自学术界。你只管做自己的。没有必要去超越一个强大的基准。
2. 做的研究远离工业界占主导地位的大规模应用就可以了
3. 你认为谁在工业界做人工智能研发？依旧是博士们。
我认为 「暗物质g」代表了本世纪MI/GI的主流方法，SSL是其中的一个先驱。其背后有着严肃的科学，这是Brain Cantwell Smith在他2019年的书中论证的一个核心主题。
从LLaMa的开源，再到LeCun自剑盾学习攻略，Meta在开源上做了很多。
网友称赞，这段时间，Meta在生成式人工智能和自我监督学习方面做出了巨大贡献。对SSL总结工作非常好，非常感激。
我最近将我的SeleniumWebdriver版本升级到3.70，当我尝试最大化浏览器窗口时，出现此错误:KeyError:keynotfound:102预先最大化窗口(在以前的版本中)似乎工作得非常好，我不确定这是否只是巧合，因为它不是标准类型的Selenium错误。这是我的代码:profile=Selenium::WebDriver::Chrome::Profile.new$driver=Selenium::WebDriver.for:chrome,:profile=>profile$driver.manage.window.maximize还有其他人遇到这个问题吗？另外值得注意的
ChatGPT是一款引人注目的产品，它的突破性功能在各个领域都创造了巨大的需求。仅在发布后的两个月内，就累计了超过1亿的用户。它最突出的功能是能够在几秒钟内完成各种文案创作，包括论文、歌曲、诗歌、睡前故事和散文等。与流行的观点相反，ChatGPT可以做的不仅仅是为你写一篇文章，更有用的是它如何帮助指导您的写作过程和写作方法。接下来手把手教你利用ChatGPT辅助完成写作的五种方法。1.使用ChatGPT生成论文的观点在开始写作之前，我们需要让ChatGPT帮我们充实想法，找到论文切入点。当老师布置论文时，通常会给予学生一个提示，让他们可以自由地表达和分析。这时，我们需要找到论文的角度和思路，然
UART串口这个东西，是嵌入式学习上避不开的，不仅在调试中经常用到，还有很多模块通过串口与SOC相连。这篇文章让你彻彻底底，搞明白串口程序的编写。没有基础的先看：嵌入式Linux学习系列全部文章：嵌入式Linux学习—从裸机到应用教程大全 目录1.UART串口1.1UART硬件连接1.2UART软件通信协议2.读手册，编程序2.1找对应引脚2.2设置GPIO为UART功能2.3设置UART（初始化）2.4编写发送接收函数3.完整代码和验证1.UART串口全称：通用异步收发传输器（UniversalAsynchronousReceiver/Transmitter，简称UART）是一种串行异步收发
SpringCloudAlibaba全集文章目录：零、手把手教你搭建SpringCloudAlibaba项目一、手把手教你搭建SpringCloudAlibaba之生产者与消费者二、手把手教你搭建SpringCloudAlibaba之Nacos服务注册中心三、手把手教你搭建SpringCloudAlibaba之Nacos服务配置中心四、手把手教你搭建SpringCloudAlibaba之Nacos服务集群配置五、手把手教你搭建SpringCloudAlibaba之Nacos服务持久化配置六、手把手教你搭建SpringCloudAlibaba之Sentinel实现流量实时监控七、手把手教你搭
现在智能电视的更换成本很高，更新的速度也非常之快，不少朋友会使用电视盒子来代替电视。因为小米盒子性价比高，配置很棒，资源又挺齐全的，大家都会比较优先选择入手。可很多使用了小米盒子的朋友发现，它并不能直接收看电视直播节目，小米电视盒子怎样看电视直播？要解决这个问题，其实很简单，看以下教程。1.小米电视盒子怎样看电视直播方法——下载美家市场①进入美家市场官网下载最新版本apk文件，并复制粘贴到u盘②打开“设置”→“账号安全”，将【安装未知来源的应用】和【米联安全】设置为允许；③将U盘插到小米盒子的USB接口上，会自动检测到新的USB设备，打开它；④没弹出U盘的可以打开应用程序下的“高清播放器”，切
雷递网雷建平10月27日曾估值超70亿美元，并酝酿上市的自动驾驶初创公司ArgoAI走向了灭亡。ArgoAI日前发布一份声明，称福特汽车公司决定需要投资在短期内更容易实现的驾驶辅助技术，而不是Argo的目标。福特汽车CEOJimFarley说，“大规模盈利的全自动驾驶还有很长的路要走，我们不一定要自己创造这种技术。”也就是说，福特汽车决定停止L4方向的投入，停止ArgoAI的投入，转而集中资源做L2+和L3智能驾驶的开发，ArgoAI被福特汽车战略性放弃。ArgoAI的倒闭，也意味着自动驾驶行业的命运发生了快速的改变。这之前，ArgoAI在2021年还曾计划走向IPO。ArgoAI成立于201
zookeeper单节点部署及注意事项kafka戳这里：kafka单节点部署，手把手从零到一事前准备：1、一台Linux服务器或者是一台虚拟机2、准备好JDK环境3、安装好wget（当然也可以不用这个，只是用于下载安装包的一个工具，所以能下载好包就是没问题的）4、需要了解vim的一些基础操作，不懂得可自行百度1、Zookeeper的单节点部署1.1、下载这里用的zookeeper版本为3.6.4运行命令：wgethttps://dlcdn.apache.org/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz运行命令，进行压
0，前言我看的是 技术宅阿棍儿的视频，B站有。系列视频：从代码引用插件_哔哩哔哩_bilibili看不懂，只能边查资料边看，讲的顺序有点乱1，根据视频提示创建第三方插件 注意：如果只有空白插件的情况，需要你创建一个C++类，就能够看到很多插件类型了具体看着：CreatingNewPlugins-non-contentonly-missingtemplates?-#3byJollyTarkaVFX-C++-EpicDeveloperCommunityForums （将这个插件放在了ue引擎或者选择放在项目下面，建议后者）2，创建游戏模式可以参考以下文章，很简单，就看前面的两步就OK: （以下过程
我正在使用Qt5.3.0和QtCreator。我想要一个非常小的QTableWidget，它的小部件高度可以是10。我将使sizePolicy扩展，以便它可以扩展到更大的数字。这就是我所做的:1.使用MainWindow创建Qt应用程序。2.在MainWindow中拖一个QTableWidget。3.将verticalLayout应用于Mainwindow。4.构建并运行。我会拿到table，但我不能通过使用右下角三角形的东西(调整三角形大小？)调整窗口的大小，使其小于70。我也尝试过子类化QTableWidget并返回sizeHint但它没有帮助。我错过了什么？
搜索一般都会要求具有“搜索推荐”或者叫“搜索补全”的功能，即在用户输入搜索的过程中，进行自动补全或者纠错。以此来提高搜索文档的匹配精准度，进而提升用户的搜索体验，这就是Suggest。termsuggestertermsuggester正如其名，只基于tokenizer之后的单个term去匹配建议词，并不会考虑多个term之间的关系。POST//_search{ "suggest":{ "":{ "text":"", "term":{ "suggest_mode":"", "field":"" } } }}text：用户搜索的文本field：要从哪个字段选取推荐数
