jjzjj

Java fork/join 框架逻辑

coder 2023-08-30 原文

这是 an answer 的“副作用”。关于今天的另一个问题。与其说是实际问题，不如说是好奇心。

Java SE 7 提供了 Oracle 所谓的“fork/join 框架”。这可能是将工作安排到多个处理器的一种更好的方法。虽然我理解它应该如何工作，但我无法理解它的优越之处以及关于窃取工作的说法。

也许其他人更了解为什么这种方法是可取的(除了因为它有一个花哨的名字)。

fork/join 的底层原语是 ForkJoinTask s，它们是 Future s，想法是要么 立即执行工作 [原文如此](措辞具有误导性，因为“立即”意味着它在主线程中同步发生，实际上这发生在 Future 内)低于某个阈值 或 递归地将工作分成两个任务，直到达到阈值。

future 是将异步运行的任务以不透明和未指定的方式封装到对象中的概念。您有一个函数可以让您验证结果是否可用，您还有一个函数可以让您(等待和)检索结果。
严格来说，你甚至不知道 future 是否异步运行，它可以在 get() 内部执行.该实现理论上也可以为每个 future 生成一个线程或使用线程池。
在实践中，Java 将 futures 实现为任务队列上的任务，并附加了一个线程池(整个 fork/join 框架也是如此)。

fork/join 文档给出了这个具体的使用示例:

protected void compute() {
    if (mLength < sThreshold) {
        computeDirectly();
        return;
    }

    int split = mLength / 2;

    invokeAll(new ForkBlur(mSource, mStart, split, mDestination),
              new ForkBlur(mSource, mStart + split, mLength - split,
                           mDestination));
}

这以与 Mergesort 遍历它们的方式相同的方式将任务提交到底层线程池的任务队列(感谢递归)。
举例来说，我们有一个包含 32 个“项目”的数组要处理，阈值为 4，并均匀分割，它将产生 8 个任务，每个任务有 4 个“项目”，如下所示:
00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
                                               .
00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15|16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
                       .                       .                       .
00 01 02 03 04 05 06 07|08 09 10 11 12 13 14 15|16 17 18 19 20 21 22 23|24 25 26 27 28 29 30 31
           .           .           .           .           .           .           .
00 01 02 03|04 05 06 07|08 09 10 11|12 13 14 15|16 17 18 19|20 21 22 23|24 25 26 27|28 29 30 31
------------------------------------------------------------------------------------------------
     1     |     2     |     3     |     4     |     5     |     6     |     7     |     8     |

在单核处理器上，这将按顺序提交/执行(以非常复杂的方式)任务组 1-2-3-4-5-6-7-8。
在双核处理器上，这将提交/执行 (1,3)-(2,4)-(5,7)-(6,8) [1]。
在四核处理器上，这将提交/执行 (1,3,5,7)-(2,4,6,8)。

相比之下，没有所有高级魔法的幼稚实现只会立即将任务 1-2-3-4-5-6-7-8 提交到任务队列。总是。

在单核处理器上，这将提交/执行 1-2-3-4-5-6-7-8。
在双核处理器上，这将提交/执行 (1,2)-(3,4)-(5,6)-(7,8)。
在四核处理器上，这将提交/执行 (1,2,3,4)-(5,6,7,8)。

问题:
  • 不是简单地将 sThreshold 连续项目塞进一个任务中，并一个接一个地提交任务到线程池的任务队列，而是生成了树状递归层次结构。这涉及为实际上什么都不做的 N 个子任务构造、引用和销毁 N+log2(N) 个对象。为什么这是优越的？
  • 不保留引用位置。处理器缓存和虚拟内存都不会像这样被对待。为什么这是优越的？
  • 除了在单处理器系统上，任务保证不会以接近其原始顺序的任何顺序进行调度。如果它真的无关紧要，这可能没有问题，但它会使诸如栅栏或屏障几乎不可行。拥有像围栏这样的东西的唯一方法是等待根对象完成，然后才提交新任务。这相当于一个完整的管道停顿(这正是您不想发生的事情)。
  • Oracle 文档声称这种方法实现了工作窃取，因此比线程池更好。我没有看到这种情况发生。我所看到的只是将任务提交到普通线程池的一种非常复杂的方式。这应该如何神奇地实现工作窃取？


    • [1] 让我们不要让它太复杂，假设工作线程不会超过彼此，任务都需要相同的时间来处理。否则，执行当然可能以不同的顺序发生，尽管提交是相同的。

    最佳答案

    当您使用 ExecutorService 时您将决定线程池中有多少线程，您安排的任务与这些任务创建的子任务之间没有任何区别。ForkJoinPool类代替，管理基于 1)可用处理器和 2)任务需求的线程。
    在这种情况下，由 Activity 任务创建的子任务通过与外部任务不同的方法进行调度。
    我们通常有一个用于整个应用程序的 fork-join 池(与使用 ExecutorService 不同，在任何非平凡应用程序中通常有超过 1 个)并且不需要 shutdown .
    我没有回顾内部结构给你一个更底层的解释，但如果你看到 here有一个演示文稿和一个基准，显示了显示所 promise 的并行性的测量。

    更新:
    该框架解决了特定类型的问题(ExecutorService 更适用于同时具有 CPU 和 I/O Activity 的任务)。
    这里的基本思想是使用递归/分而治之的方法来保持 CPU 不断忙碌。这个想法是创建新任务( fork )并挂起当前任务直到新任务完成(加入)但没有 创建新线程和 没有 有一个共享的工作队列。
    因此 Fork-join 框架是通过创建有限数量的工作线程(与内核一样多)使用工作窃取来实现的。每个工作线程维护一个私有(private)的双端工作队列。
    fork 时，worker 在其双端队列的头部推送新任务。当等待或空闲时，worker 从其双端队列的头部弹出一个任务并执行它而不是 hibernate 。
    如果 worker 的双端队列为空，则从另一个随机选择的 worker 的双端队列尾部窃取一个元素。
    我建议阅读 Data Parallelism in Java并且自己也做一些基准测试以被说服。理论只是在一定程度上是好的。之后进行测量以查看是否存在显着的性能优势

    关于Java fork/join 框架逻辑，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12218901/

    Javaforkcodebrstrongmultithreadingconcurrencyjava.util.concurrentfork-join

    有关Java fork/join 框架逻辑的更多相关文章

    1. java - 我的模型类或其他类中应该有逻辑吗 - 2

      我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

    2. TimeSformer：抛弃CNN的Transformer视频理解框架 - 2

      Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图

    3. ruby - sinatra 框架的 MVC 模式 - 2

      我想开始使用“Sinatra”框架进行编码，但我找不到该框架的“MVC”模式。是“MVC-Sinatra”模式或框架吗？ 最佳答案 您可能想查看Padrino这是一个围绕Sinatra构建的框架，可为您的项目提供更“类似Rails”的感觉，但没有那么多隐藏的魔法。这是使用Sinatra可以做什么的一个很好的例子。虽然如果您需要开始使用这很好，但我个人建议您将它用作学习工具，以对您来说最有意义的方式使用Sinatra构建您自己的应用程序。写一些测试/期望，写一些代码，通过测试-重复:)至于ORM，你还应该结帐Sequel其中(imho

    4. ruby-on-rails - 是否可以让 ActiveRecord 为使用 :joins option? 加载的行创建对象 - 2

      我需要做这样的事情classUser'User',:foreign_key=>'abuser_id'belongs_to:gameendclassGame['JOINabuse_reportsONusers.id=abuse_reports.abuser_id','JOINgamesONgames.id=abuse_reports.game_id'],:group=>'users.id',:select=>'users.*,count(distinctgames.id)ASgame_count,count(abuse_reports.id)asabuse_report_count',:

    5. ruby - 关于 Ruby 中 Dir[] 和 File.join() 的混淆 - 2

      我在Ruby中遇到了一个关于Dir[]和File.join()的简单程序，blobs_dir='/path/to/dir'Dir[File.join(blobs_dir,"**","*")].eachdo|file|FileUtils.rm_rf(file)ifFile.symlink?(file)我有两个困惑:首先，File.join(@blobs_dir,"**","*")中的第二个和第三个参数是什么意思？其次，Dir[]在Ruby中有什么用？我只知道它等价于Dir.glob()，但是，我对Dir.glob()确实不是很清楚。 最佳答案

    6. Linux磁盘分区中物理卷（PV）、卷组（VG）、逻辑卷（LV）创建和（LVM）管理 - 2

      文章目录一基础定义二创建逻辑卷2-1准备物理设备2-2创建物理卷2-3创建卷组2-4创建逻辑卷2-5创建文件系统并挂载文件三扩展卷组和缩减卷组3-1准备物理设备3-2创建物理卷3-3扩展卷组3-4查看卷组的详细信息以验证3-5缩减卷组四扩展逻辑卷4-1检查卷组是否有可用的空间4-2扩展逻辑卷4-3扩展文件系统五删除逻辑卷5-1备份数据5-2卸载文件系统5-3删除逻辑卷5-4删除卷组5-5删除物理卷六LVM逻辑卷缩容6-1缩容注意事项6-2标准缩容步骤一基础定义LVM，LogicalVolumeManger，逻辑卷管理，Linux磁盘分区管理的一种机制，建立在硬盘和分区上的一个逻辑层，提高磁盘分

    7. ruby-on-rails - 正确了解 Rails 框架的最佳方式是什么？ - 2

      按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visitthehelpcenter指导。关闭10年前。我一直在Rails上做两个项目，它们运行良好，但在这个过程中重新发明了轮子，自来水(和热水)和止痛药，正如我随后了解到的那样，这些已经存在于框架中。那么基本上，正确了解框架中所有智能部分的最佳方法是什么，这将节省时间而不是自己构建已经实现的功能？从第1页开始阅读文档？是否有公开所有内容的特定示例应用程序？一个特定的开源项目？所有的rails交通？还是完全

    8. ruby-on-rails - Ruby 和 SQL 中的重复业务逻辑 - 2

      我有一个PORO(普通旧Ruby对象)来处理一些业务逻辑。它接收一个ActiveRecord对象并对其进行分类。为了简单起见，以下面为例:classClassificatorSTATES={1=>"Positive",2=>"Neutral",3=>"Negative"}definitializer(item)@item=itemenddefnameSTATES.fetch(state_id)endprivatedefstate_idreturn1if@item.value>0return2if@item.value==0return3if@item.value但是，我还想根据这些st

    9. ruby - Dir[File.join(File.dirname(__FILE__), "subdirectory/**/*.rb")] 的较短版本？ - 2

      这是一个有点微观的问题，但每次我创建一个gem并需要加载子目录下的所有文件以用于某种反射目的(或只是一个快速而肮脏的预加载)时，我问自己“肯定有更清洁的方法吗？”，引用这种常见模式:Dir[File.join(File.dirname(__FILE__),"subdirectory/**/*.rb")].each{|f|requiref}需要在__FILE__上调用File.dirname，这使得它不必要地冗长。你不能真正在gem中使用相对路径，因为你不知道你是从哪里加载的。 最佳答案 你用的是哪种ruby？在ruby​​1.9中，

    10. ruby - 自动将院子文档框架添加到现有的 Rails 遗留代码中 - 2

      关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。关闭4年前。Improvethisquestion我希望能够将模板化的YARD文档样式注释插入到我现有的Rails遗留应用程序中。目前它的评论很少。我想要具有指定参数的类header和方法header(通过从我假定的方法签名中提取)和返回值的占位符。在PHP代码中，我有一些工具可以检查代码并在适当的位置创建插入到代码中的文档header注释。在带有Ducktyping等的Ruby中，我确信诸如@params等类型之类

    随机推荐