jjzjj

c# - 并行 Linq 查询优化

coder 2024-05-23 原文

一段时间以来，我一直在围绕没有副作用的方法构建我的代码，以便使用并行 linq 来加快速度。一路走来，我不止一次偶然发现惰性评估使事情变得更糟而不是更好，我想知道是否有任何工具可以帮助优化并行 linq 查询。

我问是因为我最近通过修改一些方法并在某些关键位置添加 AsParallel 来重构一些令人尴尬的并行代码。运行时间从 2 分钟下降到 45 秒，但从性能监视器可以清楚地看出，在某些地方 CPU 上的所有内核都没有得到充分利用。在几次错误启动后，我使用 ToArray 强制执行了一些查询，运行时间进一步缩短至 16 秒。减少代码的运行时间感觉很好，但它也有点令人不安，因为不清楚在代码中的什么地方需要使用 ToArray 强制查询。等到最后一分钟才执行查询并不是最佳策略，但完全不清楚代码中的哪些点需要强制执行某些子查询才能利用所有 CPU 内核。

事实上，我不知道如何正确使用 ToArray 或其他强制执行 linq 计算以获得最大 CPU 利用率的方法。那么是否有优化并行 linq 查询的通用指南和工具？

这是一个伪代码示例:

var firstQuery = someDictionary.SelectMany(FirstTransformation);
var secondQuery = firstQuery.Select(SecondTransformation);
var thirdQuery = secondQuery.Select(ThirdTransformation).Where(SomeConditionCheck);
var finalQuery = thirdQuery.Select(FinalTransformation).Where(x => x != null);

FirstTransformation、SecondTransformation、ThirdTransformation 都是 CPU 绑定(bind)的，就复杂性而言，它们是一些 3x3 矩阵乘法和一些 如果分支。 SomeConditionCheck 几乎是一个 null 检查。 FinalTransformation 是代码中 CPU 最密集的部分，因为它将执行一大堆线平面交点，并检查这些交点的多边形包含度，然后提取最接近某个点的交点行。

我不知道为什么我放置 AsParallel 的地方减少了代码的运行时间。我现在已经达到了运行时间的最低限度，但我不知道为什么。我偶然发现它只是运气不好。如果您想知道放置 AsParallel 的位置是第一行和最后一行。将 AsParallel 放在其他任何地方只会增加运行时间，有时最多会增加 20 秒。第一行还有一个隐藏的ToArray。

最佳答案

这里发生了一些事情:

  1. PLINQ 比未计数的 IEnumerables 更有效地并行化集合。如果你有一个数组，它会将数组长度除以你的 CPU 核心数，然后平均分配给它们。但是，如果您有一个长度未知的 IEnumerable，它会执行一种愚蠢的指数上升类型的事情，其中​​任务将一次处理 1、2、4、8 等元素，直到它到达 IEnumerable 的末尾。
  2. 通过并行化所有查询，您可以将工作分解成小块。如果你有 M 个跨 N 个元素的并行查询，你最终会得到 M*N 个任务。与仅并行化最后一个查询相比，这会有更多的线程开销，在这种情况下，您最终只会处理 N 个任务。
  3. 当每个任务的处理时间大致相同时，PLINQ 表现最佳。这样它就可以在核心之间平均分配它们。通过并行化每个具有不同性能行为的查询，您有 M*N 个任务需要不同的时间量，并且 PLINQ 无法最佳地安排它们(因为它提前不知道每个任务可能需要多长时间).

因此这里的总体指导方针是:确保在开始之前尽可能获得一个数组，并且仅在评估前将 AsParallel 放在最后一个查询上。所以像下面这样的东西应该工作得很好:

var firstQuery = someDictionary.SelectMany().ToArray().Select(FirstTransformation);
var secondQuery = firstQuery.Select(SecondTransformation);
var thirdQuery = secondQuery.Select(ThirdTransformation).AsParallel().Where(SomeConditionCheck).ToArray();
var finalQuery = thirdQuery.Select(FinalTransformation).AsParallel().Where(x => x != null);

关于c# - 并行 Linq 查询优化，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/9138540/

c#LinqcodeAsParallelsectionc#-4.0parallel-processingplinq

有关c# - 并行 Linq 查询优化的更多相关文章

  1. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表，并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码)，并打印以下消息。鉴于该程序非常简单，我已经没有什么想法了-有什么建议吗？/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  2. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

    我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道，是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔？posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

  3. c# - 如何在 ruby​​ 中调用 C# dll？ - 2

    如何在ruby​​中调用C#dll？ 最佳答案 我能想到几种可能性:为您的DLL编写(或找人编写)一个COM包装器，如果它还没有，则使用Ruby的WIN32OLE库来调用它；看看RubyCLR,其中一位作者是JohnLam，他继续在Microsoft从事IronRuby方面的工作。(估计不会再维护了，可能不支持.Net2.0以上的版本)；正如其他地方已经提到的，看看使用IronRuby，如果这是您的技术选择。有一个主题是here.请注意，最后一篇文章实际上来自JohnLam(看起来像是2009年3月)，他似乎很自在地断言RubyCL

  4. C# 到 Ruby sha1 base64 编码 - 2

    我正在尝试在Ruby中复制Convert.ToBase64String()行为。这是我的C#代码:varsha1=newSHA1CryptoServiceProvider();varpasswordBytes=Encoding.UTF8.GetBytes("password");varpasswordHash=sha1.ComputeHash(passwordBytes);returnConvert.ToBase64String(passwordHash);//returns"W6ph5Mm5Pz8GgiULbPgzG37mj9g="当我在Ruby中尝试同样的事情时，我得到了相同sha

  5. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  6. sql - 查询忽略时间戳日期的时间范围 - 2

    我正在尝试查询我的Rails数据库(Postgres)中的购买表，我想查询时间范围。例如，我想知道在所有日期的下午2点到3点之间进行了多少次购买。此表中有一个created_at列，但我不知道如何在不搜索特定日期的情况下完成此操作。我试过:Purchases.where("created_atBETWEEN?and?",Time.now-1.hour,Time.now)但这最终只会搜索今天与那些时间的日期。 最佳答案 您需要使用PostgreSQL'sdate_part/extractfunction从created_at中提取小时

  7. ruby - 带括号和 splat 运算符的并行赋值 - 2

    我明白了:x,(y,z)=1,*[2,3]x#=>1y#=>2z#=>nil我想知道为什么z的值为nil。 最佳答案 x,(y,z)=1,*[2,3]右侧的splat*是内联扩展的，所以它等同于:x,(y,z)=1,2,3左边带括号的列表被视为嵌套赋值，所以它等价于:x=1y,z=23被丢弃，而z被分配给nil。 关于ruby-带括号和splat运算符的并行赋值，我们在StackOverflow上找到一个类似的问题： https://stackoverflow

  8. ruby - 使对象的行为类似于 ruby​​ 中并行分配的数组 - 2

    假设您在Ruby中执行此操作:ar=[1,2]x,y=ar然后，x==1和y==2。是否有一种方法可以在我自己的类中定义，从而产生相同的效果？例如rb=AllYourCode.newx,y=rb到目前为止，对于这样的赋值，我所能做的就是使x==rb和y=nil。Python有这样一个特性:>>>classFoo:...def__iter__(self):...returniter([1,2])...>>>x,y=Foo()>>>x1>>>y2 最佳答案 是的。定义#to_ary。这将使您的对象被视为要分配的数组。irb>o=Obje

  9. ruby-on-rails - solr 清理查询 - 2

    我在Rails上使用带有ruby​​的solr。一切正常，我只需要知道是否有任何现有代码来清理用户输入，比如以?开头的查询。或* 最佳答案 我不知道执行此操作的任何代码，但理论上可以通过查看parsingcodeinLucene来完成并搜索thrownewParseException(只有16个匹配!)。在实践中，我认为您最好只捕获代码中的任何solr异常并显示“无效查询”消息或类似信息。编辑:这里有几个“sanitizer”:http://pivotallabs.com/users/zach/blog/articles/937-s

  10. ruby-on-rails - Rails 3 在一个查询中包含多个表 - 2

    我正在为锦标赛开发一个Rails应用程序。我在这个查询中使用了三个模型:classPlayertruehas_and_belongs_to_many:tournamentsclassTournament:destroyclassPlayerMatch"Player",:foreign_key=>"player_one"belongs_to:player_two,:class_name=>"Player",:foreign_key=>"player_two"在tournaments_controller的显示操作中，我调用以下查询:Tournament.where(:id=>params

随机推荐