jjzjj

与常规字典相比，Python manager.dict() 非常慢

coder 2023-08-21 原文

我有一个字典来存储对象:

jobs = {}
job = Job()
jobs[job.name] = job

现在我想将它转换为使用 manager dict，因为我想使用 multiprocessing 并且需要在 monst processes 中共享这个 dict

mgr = multiprocessing.Manager()
jobs = mgr.dict()
job = Job()
jobs[job.name] = job

只是通过转换为使用 manager.dict() 事情变得非常慢。

例如，如果使用原生字典，创建625个对象并存储到字典中只需要0.65秒。

同样的任务现在需要 126 秒!

我可以做任何优化来使 manager.dict() 与 python {} 保持一致吗？

最佳答案

问题是由于某种原因每次插入都非常慢(在我的机器上慢了 117 倍)，但是如果你用普通的字典更新你的 manager.dict()，它将是一个单一的和快速操作。

jobs = {}
job = Job()
jobs[job.name] = job
# insert other jobs in the normal dictionary

mgr = multiprocessing.Manager()
mgr_jobs = mgr.dict()
mgr_jobs.update(jobs)

然后使用 mgr_jobs 变量。

另一种选择是使用广泛采用的 multiprocessing.Queue 类。

关于与常规字典相比，Python manager.dict() 非常慢，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35353934/

managerPythoncodesectionjobspython-2.7multiprocessingpython-multiprocessingmultiprocessing-manager

有关与常规字典相比，Python manager.dict() 非常慢的更多相关文章

  1. 微信小程序通过字典表匹配对应数据 - 2

    前言一般来说，前端根据后台返回code码展示对应内容只需要在前台判断code值展示对应的内容即可，但要是匹配的code码比较多或者多个页面用到时，为了便于后期维护，后台就会使用字典表让前端匹配，下面我将在微信小程序中通过wxs的方法实现这个操作。为什么要使用wxs？{{method(a,b)}}可以看到，上述代码是一个调用方法传值的操作，在vue中很常见，多用于数据之间的转换，但由于微信小程序诸多限制的原因，你并不能优雅的这样操作，可能有人会说，为什么不用if判断实现呢？但是if判断的局限性在于如果存在数据量过大时，大量重复性操作和if判断会让你的代码显得异常冗余。wxswxs相当于是一个独立

  2. ruby-on-rails - 使用 HTTParty 的非常基本的 Rails 4.1 API 调用 - 2

    Rails相对较新。我正在尝试调用一个API，它应该向我返回一个唯一的URL。我的应用程序中捆绑了HTTParty。我已经创建了一个UniqueNumberController，并且我已经阅读了几个HTTParty指南，直到我想要什么，但也许我只是有点迷路，真的不知道该怎么做。基本上，我需要做的就是调用API，获取它返回的URL，然后将该URL插入到用户的数据库中。谁能给我指出正确的方向或与我分享一些代码？ 最佳答案 假设API为JSON格式并返回如下数据:{"url":"http://example.com/unique-url"

  3. ruby - 如何在 Ruby 中生成一个非常大的随机整数？ - 2

    我想在ruby​​中生成一个64位整数。我知道在Java中你有很多渴望，但我不确定你会如何在Ruby中做到这一点。另外，64位数字中有多少个字符？这是我正在谈论的示例......123456789999。@num=Random.rand(9000)+Random.rand(9000)+Random.rand(9000)但我认为这是非常低效的，必须有一种更简单、更简洁的方法来做到这一点。谢谢! 最佳答案 rand可以将范围作为参数:pa=rand(2**32..2**64-1)#=>11093913376345012184putsa.

  4. Ruby 服务器在本地主机(teambox)之外非常慢 - 2

    我刚刚在我的Ubuntu9.10服务器上安装了TeamBox。我使用提供的服务器脚本在端口3000上启动并运行它。它的运行速度非常慢，从另一台计算机连接时每个HTTP请求最多需要30秒。我使用链接从shell加载TeamBox，一点也不花时间。然后我设置了一个SSH隧道，它再次运行得非常快。我通过此服务器上的apache以及SAMBA等运行了大约30个虚拟主机，没有任何问题。我该如何解决这个问题？ 最佳答案 我的redmine(ruby，webrick)太慢了。现在我解决了这个问题:apt-getinstallmongrelruby

  5. python - 将 Ruby 哈希字符串转换为 Python 字典 - 2

    我正在处理一些作为Ruby哈希字符串返回的命令输出。(来自名为mcollective的东西)。这是我收到的示例字符串:{:changes=>{"total"=>0},:events=>{"failure"=>0,"success"=>0,"total"=>0},:version=>{"puppet"=>"2.7.21(PuppetEnterprise2.8.1)","config"=>1381497648},:time=>{"filebucket"=>0.000287,"cron"=>0.00212,"package"=>0.398982,"exec"=>0.001314,"confi

  6. ruby-on-rails - 即使没有挂起的迁移，Rails 迁移也非常缓慢 - 2

    我的生产Rails应用程序需要167秒来运行rakedb:migrate。可悲的是，没有要运行的迁移。我试图在检查是否有待处理的迁移时调整运行的迁移，但随后检查花费了同样长的时间。我心目中唯一的“借口”是数据库并不小，那里有1M条记录，但我看不出这有什么关系。我查看了日志，但没有任何迹象表明出了什么问题。我在运行ruby2.2.0rails4.2.0有没有人知道为什么会这样，是否有什么办法可以解决？ 最佳答案 运行rakedb:migrate任务还会调用db:schema:dump任务，这将更新您的db/schema.rb。因此，即

  7. ruby - 由于 GEM_HOME 的要求，启动 Ruby 应用程序非常慢 - 2

    我目前正在开发一个ruby​​应用程序，但它运行得非常(非常!)慢..到目前为止，我已经尝试了几件事，我可以将其缩小到主要问题:Ruby正在尝试在$LOAD_PATH的每个目录中查找它的需求。基本上我所观察到的是，ruby正在查看大量文件，试图查看那里是否存在需求。如果找不到它们，它将转到下一个目录。好消息是我可以通过strace看到这种情况。有很多这样的输出:open("/boa_proj_build/nsteen/.gem/gems/i18n-0.7.0/lib/commander/help_formatters/base.rb",O_RDONLY|O_CLOEXEC)=-1ENO

  8. 一个非常明显的现象，正在发生——元宇宙正在被越来越多的人所推崇 - 2

    　　一个非常明显的现象，正在发生——元宇宙正在被越来越多的人所推崇，无论是科技巨头，还是资本巨头，几乎都是如此。同时，区块链则正在一点一点地回归理性与客观。对于区块链来讲，这是一个好现象。它告诉我们，人们对于区块链的狂热而激进的认识，正在被一步又一步的校正和纠偏。由此，区块链行业的发展，将会真正进入到一个全新的发展阶段。　　同以往人们仅仅只是将区块链看成是一个概念，并以此来获取资本和流量不同。当人们对于区块链的认识变得深入，资本和流量反倒不再是区块链玩家们真正关心的问题。至少从当下情况来看，那些依然还在区块链行业里坚守的玩家们，更多地在坚持长期主义，更多地在寻求区块链与行业结合的正确的方式和方

  9. ruby - 如何修复 activesupport 3.0.0 与 2.x 相比的行为差异？ - 2

    我在我的Sinatra应用程序中使用Hash#to_xml。在我转向actviesupport3.0.0之前，它一直有效activesupport在3.0.0的使用有区别吗？例如这很好用gem'activesupport','2.3.5'require'active_support'{}.to_xml和gem'activesupport','3.0.0'require'active_support'{}.to_xml生成:NoMethodError:{}的未定义方法“to_xml”:哈希 最佳答案 当您需要时，ActiveSuppo

  10. Ruby 正则表达式，只有一次捕获(非常简单!) - 2

    我想这将是一个愚蠢的错误，但对我来说，以下返回一个仅包含“M”的数组。看这个:/(.)+?/.match("Manymanycharacters!").captures=>["M"]为什么它不返回每个字符的数组？我一定是错过了一些明显的东西，因为我看不出这有什么问题？编辑:刚刚意识到，我不需要+？但没有它仍然无法工作。编辑:抱歉!我会澄清:我的目标是让用户输入正则表达式和样式以及输入文本文件，只要有匹配项，文本就会被html元素包围并应用样式，我不只是拆分将字符串转换为字符，我只使用了给定的正则表达式，因为它是最简单的，尽管这对我来说很愚蠢。我如何从scan()获取捕获组或者这是不可能

随机推荐