jjzjj

10亿参数、多项SOTA，智源开源视觉基础模型EVA

机器之心 2023-03-28 原文


  • 论文地址：https://arxiv.org/abs/2211.07636
  • 代码地址：https://github.com/baaivision/EVA
作为一种视觉预训练方法，掩码图像建模（Masked Image Modeling，简称 MIM）近期得到了蓬勃发展，自从 BEiT 开始，一系列新方法诸如 SimMIM、MAE、MVP 等被陆续设计出，这个领域也受到了很大关注。然而，在十亿参数量级别的视觉预训练模型中，最具竞争力的模型例如 ViT-g、SwinV2、CoCa 等仍然严重依赖有监督或弱监督训练，以及不可公开访问的数亿级有标签数据。

理想的视觉预训练应当只需简单的操作：譬如抓好语义学习和几何结构学习这两个关键点，基本可以搞定绝大部分的视觉任务。

智源曹越团队最新开源的视觉预训练模型 EVA，将最强语义学习（CLIP）与最强几何结构学习（MIM）结合，仅需使用标准的 ViT 模型，并将其规模扩大到十亿参数（1-Billion）进行训练，即可得到当前最强大的十亿级视觉基础模型 EVA。

具体而言，EVA 的训练方法与 MVP、MILLAN 类似，即通过重构 CLIP 特征来进行掩码图像建模（masked image modeling）。如下图所示，CLIP 模型输入为完整的图像，而 EVA 模型的输入为有遮盖的图像，训练过程是让 EVA 模型遮盖部分的输出去重构 CLIP 模型对应位置的输出，从而以简单高效的方式让 EVA 模型同时拥有了最强语义学习 CLIP 的能力和最强几何结构学习 MIM 的能力。不同于之前的方法，EVA 证明了这种训练方式可以帮助模型将参数扩展到十亿量级，并且在这个参数量级下在广泛下游任务中取得出色的性能。

总结而言，EVA 具有以下特点：

1. 高效

EVA 仅使用开源的纯图像数据即可进行掩码预测任务，不需要预训练阶段重新学习语义以及不需要巨量的成对有标注数据。相比而言，主流标杆性模型（ViT-g、SwinV2、CoCa 等）仍依赖于冗长的有监督或弱监督训练，以及不可公开访问的数亿级有标签数据。

2. 简单

EVA 无需特殊设计网络结构。使用简单的网络结构—标准的 ViT-g，而无需额外特殊设计的算子，使得其非常容易的迁移到广泛的下游任务，并且可以和其他模态共享。

实验

目前，EVA 在主流任务评测中的表现都可圈可点：

1. 多项重要视觉感知任务取得 state-of-the-art 性能

ImageNet 图像分类中取得 89.7% 的 top-1 准确率；Kinetics-700 视频动作识别取得 82.9% 的 top-1 准确率；COCO 目标检测取得 64.7 mAP、实例分割取得 55.5 mAP；LVIS 的实例分割取得 55.0 mAP；语义分割的 COCO-stuff 取得 53.4 mIoU、ADE-20K 取得 62.3 mIoU。

2. 参数量变引发性能质变：在 LVIS 上性能极强；可以稳定并加速 CLIP 训练，产生当前最强的开源 CLIP 模型。

首先，在 LVIS（超过一千类）实例分割任务上表现和 COCO（80 类）相仿，比之前的 SOTA 方法 MAE 高出 5.8 个点；第二，使用 EVA 作为 CLIP 训练的初始化，其性能远超随机初始化的 CLIP 训练，如下图所示，在十亿参数量级下，和 Open CLIP 官方使用完全一样的训练方式下，在几乎所有的零样本基准下均有显著的性能提升，除此之外，EVA 可以极大地稳定巨型 CLIP 的训练和优化过程，训练过程仅需使用 FP16 混合精度，综合来看，EVA 帮助训练得到当前最强且最大的开源 CLIP 模型，已经有团队在尝试使用其帮助 AIGC 模型的生成质量。

圈重点：EVA 全家桶开源！

十亿参数的预训练模型，下游 ImageNet 图像分类、Kinetics 视频动作识别、COCO 和 LVIS 目标检测和分割、ADE20K 语义分割、以及最强 CLIP 模型，全部开源！

欢迎感兴趣的小伙伴前去使用！

SOTAEVAspanstylefont-size开源新闻$开源模型

有关10亿参数、多项SOTA，智源开源视觉基础模型EVA的更多相关文章

  1. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  2. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  3. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  4. ruby-on-rails - 在混合/模块中覆盖模型的属性访问器 - 2

    我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗？ 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话，Rails使用#method_missing作为属性setter，因此您的模块将优先，阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost)，那么您的实例方法需要进入一个特殊的模块:classBlah

  5. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  6. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  7. ruby-on-rails - form_for 中不在模型中的自定义字段 - 2

    我想向我的Controller传递一个参数，它是一个简单的复选框，但我不知道如何在模型的form_for中引入它，这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框，但我该怎么做，模型中没有一个对象，而是一个要检查的对象，以便在Controller中创建一个ifelse，如果没有检查，请帮助我，非常感谢,谢谢

  8. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式？ - 2

    我正在为一个项目制作一个简单的shell，我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止，我一直在使用CSV::parse_line，将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  9. ruby - 检查方法参数的类型 - 2

    我不确定传递给方法的对象的类型是否正确。我可能会将一个字符串传递给一个只能处理整数的函数。某种运行时保证怎么样？我看不到比以下更好的选择:defsomeFixNumMangler(input)raise"wrongtype:integerrequired"unlessinput.class==FixNumother_stuffend有更好的选择吗？ 最佳答案 使用Kernel#Integer在使用之前转换输入的方法。当无法以任何合理的方式将输入转换为整数时，它将引发ArgumentError。defmy_method(number)

  10. ruby-on-rails - 如何将验证与模型分开 - 2

    我有一些非常大的模型，我必须将它们迁移到最新版本的Rails。这些模型有相当多的验证(User有大约50个验证)。是否可以将所有这些验证移动到另一个文件中？说app/models/validations/user_validations.rb。如果可以，有人可以提供示例吗？ 最佳答案 您可以为此使用关注点:#app/models/validations/user_validations.rbrequire'active_support/concern'moduleUserValidationsextendActiveSupport:

随机推荐