jjzjj

java - BerkeleyDB 写入性能问题

coder 2024-03-13 原文

我需要一个基于磁盘的键值存储，以维持大型数据集的高写入和读取性能。我知道，这是一项艰巨的任务。

我正在尝试使用 Java 中的 C BerkeleyDB (5.1.25) 库，但发现了严重的性能问题。

我在短时间内获得稳定的 14K 文档/秒，但是一旦我达到几十万个文档，性能就会像岩石一样下降，然后恢复一段时间，然后再次下降，等等。这种情况发生得越来越多更频繁地，在大多数情况下，在 1000 万个文档之后，我无法获得超过 60 个文档/秒的速度和 12K 文档/秒的几个孤立峰值。我选择的数据库类型是 HASH，但我也尝试了 BTREE，结果是一样的。

我尝试使用 10 db 的池并在其中散列文档以消除性能下降；这将写入吞吐量增加到 50K 文档/秒，但对性能下降没有帮助:所有 10 个数据库同时减慢到爬行。

我假设文件正在重组，我试图找到一个影响重组发生时间的配置参数，因此每个合并的数据库都会在不同的时间重组，但我找不到任何有用的东西.我尝试了不同的缓存大小，使用 setHashNumElements 配置选项保留空间，这样它就不会花时间增加文件，但每一次调整都使情况变得更糟。

我打算放弃 berkeleydb 并尝试更复杂的解决方案，例如 cassandra，但我想确保在注销之前我在 berkeleydb 中没有做错什么。

这里有人有使用 berkeleydb 实现持续写入性能的经验吗？

编辑 1:

我已经尝试了几件事:

  1. 将写入速度降至 500 次/秒(低于我在 15 小时内写入 3000 万份文档后获得的平均值，这表明硬件能够写入 550 份文档/秒)。无效:一旦编写了一定数量的文档，性能就会下降。
  2. 将传入的项目写入队列。这有两个问题:A)它破坏了释放 ram 的目的。 B) 队列最终会阻塞，因为 BerkeleyDB 卡住的时间变得更长更频繁。

换句话说，即使我限制传入数据以保持在硬件能力以下并使用 ram 来保存项目，而 BerkeleyDB 需要一些时间来适应增长，随着这个时间越来越长，性能接近 0。

这让我感到惊讶，因为我看到声称它可以处理数 TB 的数据，但我的测试表明并非如此。我仍然希望我做错了什么......

编辑 2:

经过更多思考和 Peter 的输入，我现在了解到随着文件变大，一批写入将分散得更远，并且它们落入同一个磁盘柱面的可能性下降，直到它最终到达磁盘的寻道/秒限制。

但 BerkeleyDB 的周期性文件重组比这更早地破坏了性能，而且以更糟糕的方式:它只是在越来越长的时间内停止响应，同时它会四处移动。使用更快的磁盘或将数据库文件分散到不同的磁盘上都无济于事。我需要找到解决这些吞吐量漏洞的方法。

最佳答案

我所看到的高磁盘写入率是系统缓存会被填满(在那个点上提供闪电性能)但是一旦它填满了应用程序，即使整个系统也会显着变慢，甚至停止。

您的底层物理磁盘应至少支持每秒 100 次写入。除此之外，更清晰的缓存支持了一种错觉。 ;) 但是，当缓存系统耗尽时，您会看到非常糟糕的行为。

我建议您考虑磁盘 Controller 缓存。它的电池备份内存需要与您的数据大小相当。

如果更新是突发的，另一种选择是使用 SSD 驱动器(它们每秒可以进行 10K+ 的写入，因为它们没有移动部件)带有缓存，这应该可以提供比您需要的更多的东西，但 SSD 的写入次数有限.

关于java - BerkeleyDB 写入性能问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5423343/

BerkeleyDBjava的sectionperformanceberkeley-dbkey-value

有关java - BerkeleyDB 写入性能问题的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  3. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

  4. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  5. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  6. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/

  7. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  8. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  9. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  10. java - 我的模型类或其他类中应该有逻辑吗 - 2

    我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

随机推荐