jjzjj

python - 我可以在单核机器上运行多处理 Python 程序吗？

coder 2023-08-19 原文

所以这或多或少是一个理论问题。我有一台单核机器，据说功能强大但只有一个核心。现在我有两个选择:

  1. 多线程:据我所知，由于 GIL，我不能在我的机器中使用多个内核，即使我有它们也是如此。因此，在这种情况下，它没有任何区别。

  2. Multiprocessing:这是我有疑问的地方。我可以在单核机器上进行多处理吗？或者每次我必须检查机器中可用的内核然后运行完全相同或更少数量的进程时？

有人可以指导我了解机器中多处理和核心之间的关系吗？

我知道这是一个理论问题，但我对此的概念不是很清楚。

最佳答案

这是一个很大的话题，但这里有一些提示。

  • 将线程视为共享相同地址空间并可以访问相同内存的进程。通信是通过共享变量完成的。多个线程可以在同一个进程中运行。
  • 进程(在这种情况下，粗略地说)有自己的私有(private)数据，如果两个进程想要通信，则必须更明确地进行通信。
  • 当您编写的程序的瓶颈是 CPU 周期时，线程或进程都不会在单核机器上为您提供加速。
  • 进程和线程对于多任务处理(在(子)程序之间快速切换)仍然很有用 - 这就是您的操作系统所做的，因为它运行的进程比您拥有的内核多得多。
  • 如果您正在执行的任务受 I/O 限制，进程和线程(甚至协同程序!)即使在单核机器上也可以为您提供相当大的加速 - 考虑从网络获取数据。例如，不是主动等待数据发送或到达，而是另一个进程或线程可以启动下一个网络操作。
  • 当您不需要显式封装时，线程比进程更可取，因为它们的开销较低。对于大多数受 CPU 限制的并发问题，尤其是“embarassingly parallel”问题的大部分子集，产生比您拥有的处理器更多的进程没有多大意义。
  • Python GIL 可防止同一进程中的两个线程并行运行，即多个内核同时按字面意思执行指令。
  • 因此，Python 中的线程对于加速受 CPU 限制的任务而言相对无用，但对于受 I/O 限制的任务仍然非常有用，因为阻塞操作(例如等待网络数据)会释放 GIL，以便另一个线程可以运行而另一个等待。
  • 如果您有多个处理器，尽管有 GIL，您可以通过生成多个进程来实现真正的并行性。这仅对于 CPU 密集型任务才值得，而且通常您必须考虑生成进程的开销和进程之间的通信成本。

关于python - 我可以在单核机器上运行多处理 Python 程序吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52465317/

pythonsectionli的multiprocessingpython-multiprocessing

有关python - 我可以在单核机器上运行多处理 Python 程序吗？的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  3. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  4. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  5. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  6. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  7. ruby - 在 Ruby 中编写命令行实用程序 - 2

    我想用ruby​​编写一个小的命令行实用程序并将其作为gem分发。我知道安装后，Guard、Sass和Thor等某些gem可以从命令行自行运行。为了让gem像二进制文件一样可用，我需要在我的gemspec中指定什么。 最佳答案 Gem::Specification.newdo|s|...s.executable='name_of_executable'...endhttp://docs.rubygems.org/read/chapter/20 关于ruby-在Ruby中编写命令行实用程序

  8. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  9. ruby - 我可以使用 Ruby 从 CSV 中删除列吗？ - 2

    查看Ruby的CSV库的文档，我非常确定这是可能且简单的。我只需要使用Ruby删除CSV文件的前三列，但我没有成功运行它。 最佳答案 csv_table=CSV.read(file_path_in,:headers=>true)csv_table.delete("header_name")csv_table.to_csv#=>ThenewCSVinstringformat检查CSV::Table文档:http://ruby-doc.org/stdlib-1.9.2/libdoc/csv/rdoc/CSV/Table.html

  10. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

随机推荐