jjzjj

Spring 批处理 : Which ItemReader implementation to use for high volume & low latency

coder 2023-05-11 原文

用例:从数据库中读取 1000 万行 [10 列] 并写入文件(csv 格式)。

  1. 建议 JdbcCursorItemReader 和 JdbcPagingItemReader 中的哪个 ItemReader 实现？原因是什么？

  2. 在上述用例中哪个性能更好(更快)？

  3. 单进程与多进程方法的选择会有所不同吗？

  4. 如果是使用 TaskExecutor 的多线程方法，哪一个更好更简单？

最佳答案

要处理这种数据，如果可能的话，您可能希望并行化它(唯一阻止它的是输出文件需要保留来自输入的顺序)。假设您要并行处理您的处理，那么对于这种类型的用例，您有两个主要选项(根据您提供的内容):

  1. 多线程步骤 - 这将处理每个线程的 block ，直到完成。这允许以非常简单的方式进行并行化(只需将 TaskExecutor 添加到您的步骤定义中)。有了这个，您就可以轻松地重新启动，因为您需要关闭您提到的任何一个 ItemReader 上的状态持久性(有一些方法可以解决这个问题，将数据库中的记录标记为已处理等)。
  2. 分区 - 这会将您的输入数据分解为由步骤实例并行处理的分区(主/从配置)。分区可以通过线程(通过 TaskExecutor)在本地执行，也可以通过远程分区远程执行。在任何一种情况下，您都可以通过并行化获得可重新启动性(每个步骤都处理它自己的数据，因此没有从分区到分区的状态踩踏)。

我做了一个关于与 Spring Batch 并行处理数据的演讲。具体来说，我展示的示例是一个远程分区作业。您可以在这里查看:https://www.youtube.com/watch?v=CYTj5YT7CZU

针对您的具体问题:

  1. 建议在 JdbcCursorItemReader 和 JdbcPagingItemReader 中使用哪个 ItemReader 实现？原因是什么？ - 这两个选项中的任何一个都可以调整以满足许多性能需求。这实际上取决于您使用的数据库、可用的驱动程序选项以及您可以支持的处理模型。另一个考虑因素是，您需要可重启性吗？
  2. 在上述用例中哪个性能更好(更快)？ - 同样取决于您选择的处理模型。
  3. 在单进程与多进程方法的情况下，选择会有所不同吗？ - 这取决于您如何管理作业，而不是 Spring Batch 可以处理的。问题是，您是要管理作业外部的分区(将数据描述作为参数传递给作业)还是要作业管理它(通过分区)。
  4. 在使用 TaskExecutor 的多线程方法的情况下，哪一个更好且更简单？ - 我不会否认远程分区增加了本地分区和多线程步骤所没有的复杂程度没有。

我将从基本的步骤定义开始。然后尝试多线程步骤。如果这不能满足您的需求，则转到本地分区，最后在需要时进行远程分区。请记住，Spring Batch 旨在使该进程尽可能轻松。您可以从常规步骤转到仅配置更新的多线程步骤。要进行分区，您需要添加一个新类(一个 Partitioner 实现)和一些配置更新。

最后一点。其中大部分都谈到了并行处理这些数据。 Spring Batch 的 FlatFileItemWriter 不是线程安全的。最好的办法是并行写入多个文件，然后如果速度是您的首要关注点，然后将它们聚合起来。

关于 Spring 批处理 : Which ItemReader implementation to use for high volume & low latency，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/20386642/

implementationItemReaderstrong多线sectionspringjdbcbatch-processingspring-batch

有关Spring 批处理 : Which ItemReader implementation to use for high volume & low latency的更多相关文章

  1. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身，new.html.erb，有代码:当我运行rspec时，它失败了:1)messages/new.html.erbshou

  2. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  3. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  4. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  5. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为

  6. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  7. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  8. ruby-on-rails - 如何优雅地重启 thin + nginx？ - 2

    我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server

  9. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  10. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切，所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时，我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗？我正在使用OSX并安装了rvm。 最佳答案 或者，您可以只使用“require”，它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

随机推荐