jjzjj

python - Python 中的多处理池 - 仅使用单个 CPU

coder 2023-08-23 原文

原始问题

我正在尝试在 Python 中使用多处理池。这是我的代码:

def f(x):
    return x
    
def foo():
    p = multiprocessing.Pool()
    mapper = p.imap_unordered
    
    for x in xrange(1, 11):
        res = list(mapper(f,bar(x)))

当 xrange 很小如 xrange(1, 6) 时，此代码使用所有 CPU(我有 8 个 CPU)。但是，当我将范围增加到 xrange(1, 10) 时。我观察到只有 1 个 CPU 以 100% 的速度运行，而其余的只是闲置。可能是什么原因？是否因为当我增加范围时，操作系统会因过热而关闭 CPU？

我该如何解决这个问题？

最小的、完整的、可验证的例子

为了重现我的问题，我创建了这个示例:它是从字符串问题生成的简单 ngram。

#!/usr/bin/python

import time
import itertools
import threading
import multiprocessing
import random
    
    
def f(x):
    return x

def ngrams(input_tmp, n):
    input = input_tmp.split()

    if n > len(input):
        n = len(input)
        
    output = []
    for i in range(len(input)-n+1):
        output.append(input[i:i+n])
    return output 
    
def foo():
    
    p = multiprocessing.Pool()
    mapper = p.imap_unordered
    
    num = 100000000 #100
    rand_list = random.sample(xrange(100000000), num)
    
    rand_str = ' '.join(str(i) for i in rand_list)

    for n in xrange(1, 100):
        res = list(mapper(f, ngrams(rand_str, n)))

        
if __name__ == '__main__':
    start = time.time()
    foo()
    print 'Total time taken: '+str(time.time() - start)

当 num 较小时(例如，num = 10000)，我发现所有 8 个 CPU 都被使用。但是，当 num 非常大时(例如，num = 100000000)。仅使用 2 个 CPU，其余空闲。这是我的问题。

注意:当num 太大时可能会导致系统/VM 崩溃。

最佳答案

首先，ngrams 本身会花费很多时间。虽然这种情况正在发生，但它显然只是一个核心。但即使完成了(这很容易测试，只需将 ngrams 调用移到 mapper 之外，并在前后抛出一个 print它)，您仍然只使用一个核心。我得到 1 个核心 100%，其他核心都在 2% 左右。

如果您在 Python 3.4 中尝试同样的事情，情况会有所不同——我仍然得到 1 个核心的 100%，但其他核心是 15-25%。

那么，这是怎么回事？那么，在 multiprocessing 中，传递参数和返回值总是有一些开销。在您的情况下，这种开销完全淹没了实际工作，即 return x。

开销的工作原理如下:主进程必须对值进行 pickle，然后将它们放入队列，然后等待另一个队列中的值并取消 pickle。每个子进程在第一个队列上等待，unpickles 值，做你的无所事事的工作，pickle 值，并将它们放在另一个队列中。必须同步对队列的访问(通过大多数非 Windows 平台上的 POSIX 信号量，我认为是 Windows 上的 NT 内核互斥量)。

据我所知，您的进程 99% 以上的时间都在等待队列或读取或写入队列。

这不是太出乎意料，因为您有大量数据要处理，而且除了 pickling 和 unpickling 数据之外根本没有计算。

如果您在 CPython 2.7 中查看 SimpleQueue 的源代码，pickling 和 unpickling 发生在持有锁的情况下。因此，几乎任何后台进程所做的所有工作都是在持有锁的情况下发生的，这意味着它们最终都在单个内核上序列化。

但是在CPython 3.4 ，pickling 和 unpickling 发生在锁的外面。显然，这足以使用 15-25% 的内核。 (我相信这个变化发生在 3.2 中，但我懒得去追踪它。)

尽管如此，即使在 3.4 上，您花在等待访问队列上的时间也比做任何事情都多得多，甚至是 multiprocessing 开销。这就是核心最多只能达到 25% 的原因。

当然，你花在开销上的时间比实际工作多几个数量级，这使得这不是一个很好的测试，除非你试图测试你可以从特定的中获得的最大吞吐量>multiprocessing 在您的机器或其他设备上实现。

一些观察:

  • 在您的实际代码中，如果您能找到一种方法来批量处理更大的任务(明确地说——仅仅依靠 chunksize=1000 或类似的在这里没有帮助)，那可能会解决大部分问题你的问题。
  • 如果您的巨型数组(或其他)从未真正改变过，您可以将它传递到池初始化程序中，而不是传递到每个任务中，这几乎可以消除问题。
  • 如果它确实发生了变化，但只是从主流程方面发生了变化，则可能值得共享而不是传递数据。
  • 如果您需要从子进程中改变它，请查看是否有一种方法可以对数据进行分区，以便每个任务都可以拥有一个切片而不会发生争用。
  • 即使您需要具有显式锁定的完全竞争的共享内存，它可能仍然比传递这么大的东西要好。
  • 可能值得向后移植 3.2+ 版本的 multiprocessing 或 PyPI 的第三方 multiprocessing 库之一(或升级到 Python 3.x ), 只是为了将酸洗移出锁。

关于python - Python 中的多处理池 - 仅使用单个 CPU，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30094793/

pythoncodemultiprocessingsectionpool

有关python - Python 中的多处理池 - 仅使用单个 CPU的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  4. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  5. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  6. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  7. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  8. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

  9. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  10. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

随机推荐