jjzjj

mmdet里workers_per_gpu和sampers_per_gpu的作用

Jumbo星 2023-04-08 原文

背景：

最近用mmdet的时候发现一个问题，在pipeline里进行一些随机操作（例如随机裁剪）的时候，设定一个随机种子random seed，理论上每次随机操作的结果都不同，但是实际上发现会有2张图的操作结果是一样的。

本来以为是batch_size的问题，就去修改了sampers_per_gpu 。结果发现实际上是workers_per_gpu的问题。因此就来好好研究下这俩个参数的作用和意义。

实际上科班的应该对进程比较熟悉，但是也考虑到有很多像我一样非科班的小白，可能对进程workers不是很理解，故此记录下，也欢迎大佬交流指正

这俩个参数具体出现在configs文件里

 sampers_per_gpu

这个参数会传入在mmdet/datasets/builder.py里

if dist:
        # When model is :obj:`DistributedDataParallel`,
        # `batch_size` of :obj:`dataloader` is the
        # number of training samples on each GPU.
        batch_size = samples_per_gpu
        num_workers = workers_per_gpu
    else:
        # When model is obj:`DataParallel`
        # the batch size is samples on all the GPUS
        batch_size = num_gpus * samples_per_gpu
        num_workers = num_gpus * workers_per_gpu

可以看到sampers_per_gpu就是控制batch_size的，决定了dataloader一次从dataset里取几个样本（几张图）。

注意这里单卡和多卡不一样，简单说sampers_per_gpu是决定每张卡取多少sampers，总的batch_size要乘以你用的gpu显卡数目

workers_per_gpu

这个参数决定读取数据时每个gpu分配的线程数 。

数据加载时每个 GPU 使用的子进程（subprocess）数目。

因此如果workers=2，那就会把一个相同的随机种子seed同时作用于两个samper，因此就会导致出现两个分支（进程），就会产生不同组的图做的随机操作完全一样的情况。

workers_per_gpusampers_per_gpuampltgt

有关mmdet里workers_per_gpu和sampers_per_gpu的作用的更多相关文章

  1. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

    如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

  2. ruby-on-rails - "assigns"在 Ruby on Rails 中有什么作用？ - 2

    我目前正在尝试学习RubyonRails和测试框架RSpec。assigns在此RSpec测试中做什么？describe"GETindex"doit"assignsallmymodelas@mymodel"domymodel=Factory(:mymodel)get:indexassigns(:mymodels).shouldeq([mymodel])endend 最佳答案 assigns只是检查您在Controller中设置的实例变量的值。这里检查@mymodels。 关于ruby-o

  3. ruby - 字符串文字前面的 * 在 ruby​​ 中有什么作用？ - 2

    这段代码似乎创建了一个范围从a到z的数组，但我不明白*的作用。有人可以解释一下吗？[*"a".."z"] 最佳答案 它叫做splatoperator.SplattinganLvalueAmaximumofonelvaluemaybesplattedinwhichcaseitisassignedanArrayconsistingoftheremainingrvaluesthatlackcorrespondinglvalues.Iftherightmostlvalueissplattedthenitconsumesallrvaluesw

  4. ruby - 为什么这个 eval 在 Ruby 中不起作用 - 2

    你能解释一下吗？我想评估来自两个不同来源的值和计算。一个消息来源为我提供了以下信息(以编程方式):'a=2'第二个来源给了我这个表达式来评估:'a+3'这个有效:a=2eval'a+3'这也有效:eval'a=2;a+3'但我真正需要的是这个，但它不起作用:eval'a=2'eval'a+3'我想了解其中的区别，以及如何使最后一个选项起作用。感谢您的帮助。 最佳答案 您可以创建一个Binding，并将相同的绑定(bind)与每个eval相关联调用:1.9.3p194:008>b=binding=>#1.9.3p194:009>eva

  5. ruby-on-rails - Spring 不起作用。 [未初始化常量 Spring::SID::DL] - 2

    我无法运行Spring。这是错误日志。myid-no-MacBook-Pro:myid$spring/Users/myid/.rbenv/versions/1.9.3-p484/lib/ruby/gems/1.9.1/gems/spring-0.0.10/lib/spring/sid.rb:17:in`fiddle_func':uninitializedconstantSpring::SID::DL(NameError)from/Users/myid/.rbenv/versions/1.9.3-p484/lib/ruby/gems/1.9.1/gems/spring-0.0.10/li

  6. ruby-on-rails - Simple_form 必填字段不起作用 - Ruby on Rails - 2

    我在RoR应用程序中有一个提交表单，是使用simple_form构建的。当字段为空白时，应用程序仍会继续下一步，而不会提示错误或警告。默认情况下，这些字段应该是required:true；但即使手动编写也行不通。该应用有3个步骤:NewPost(新View)->Preview(创建View)->Post。我的Controller和View的摘录会更清楚:defnew@post=Post.newenddefcreate@post=Post.new(params.require(:post).permit(:title,:category_id))ifparams[:previewButt

  7. ruby-on-rails - Heroku Action 缓存似乎不起作用 - 2

    我一直在Heroku上尝试不同的缓存策略，并添加了他们的memcached附加组件，目的是为我的应用程序添加Action缓存。但是，当我在我当前的应用程序上查看Rails.cache.stats时(安装了memcached并使用dalligem)，在执行应该缓存的操作后，我得到current和total_items为0。在Controller的顶部，我想缓存我有的Action:caches_action:show此外，我修改了我的环境配置(对于在Heroku上运行的配置)config.cache_store=:dalli_store我是否可以查看其他一些统计数据，看看它是否有效或我做错

  8. ruby-on-rails - Rake 预览在 Octopress 中不起作用 - 2

    我在我的机器上安装了ruby​​版本1.9.3，并且正在为我的个人网站开发一个octopress项目。我为我的gems使用了rvm，并遵循了octopress.org记录的所有步骤。但是我在我的rake服务器中发现了一些错误。这是我的命令日志。Tin-Aung-Linn:octopresstal$ruby--versionruby1.9.3p448(2013-06-27revision41675)[x86_64-darwin12.4.0]Tin-Aung-Linn:octopresstal$rakegenerate##GeneratingSitewithJekyllidenticals

  9. ruby-on-rails - 如何在 Ruby on Rails 中注册服务 worker ？ - 2

    我正在尝试在RubyOnRails中注册一个服务worker来实现推送通知GCM。但是没有任何反应。请看下面我的代码:if('serviceWorker'innavigator){navigator.serviceWorker.register('/assets/service-worker.js').then(initialiseState);}else{window.Demo.debug.log('Serviceworkersaren\'tsupportedinthisbrowser.');这部分工作正常。但是，当我调用navigator.serviceWorker.ready.t

  10. ruby - 比较运算符不起作用(在 erb View 中) - 2

    我是RubyonRails的新手，我正在尝试编写一个morethan表达式:5%>大于号不断抛出异常捕获错误。我不确定如何解决这个问题？编辑:这不是rails，也不是View，它是一个Ruby构造 最佳答案 使用5%>错误来自photo_limit而不是从Integer延伸类(猜测它真的是一个字符串)，因此没有混合比较方法/s有关更多信息，请参阅:http://www.skorks.com/2009/09/ruby-equality-and-object-comparison/特别是你必须混入Comparable并定义方法。虽然在这

随机推荐