jjzjj

MongoDB、NUMA 硬件、页面错误但有足够的 RAM 用于工作集、touch 命令或 vmtouch/dd 未加载到内存中

coder 2023-11-06 原文

MongoDB 2.46 & 2.4.8

用例:

  1. 在具有 2 个索引的集合中加载 100.000 个文档。驻留内存增加(mongostat)，没有发生页面错误。
  2. 重启mongod。驻留内存不足(这是预期的)
  3. 尝试使用 touch 命令 db.runCommand({ touch: collection, data: true, index: true }) 或其他方式(在操作系统上，vmtouch/dd)
    a) 在此步骤中，在我的开发机器 (MacOS) 上，我在 mongostat 中看到许多页面错误试图加热它(预期)并提高常驻内存。从那时起，任何更新都不会引发页面错误
    b) 在 numa 服务器(256 GB RAM)上，即使我按照以下指南启动了 mongo:http://docs.mongodb.org/manual/administration/production-notes/#mongodb-on-numa-hardware (注意:我没有 super 用户访问权限。但是，第二步，在/proc/sys/vm/zone_reclaim_mode 中回显 0，已经是 0，所以我就这样离开了)，我似乎无法预热使用“触摸”命令内存。没有任何反应，即使它成功返回。 在mongostat中，只有'mapped'和'vsize'越来越高，常驻内存也一样(35m)。我什至尝试使用 vmtouch 和 dd 命令加载操作系统内存中的数据文件。 只有重新索引集合才会改变常驻内存。

问题是在我开始将数据加载到服务器后不久出现的。我做了很多更新插入，一开始的表现非常棒(3000 - 4000 更新插入/秒)。这是预料之中的，因为工作集将能够适合内存。在 30.000.000 个文件之后，该过程似乎出现了很多页面错误，我不知道为什么。 数据文件约为。 33GB，性能约为 500 upserts/sec，有很多页面错误。那应该意味着工作集不在内存中。但是，256GB RAM 应该绰绰有余。我尝试了“touch”命令，但驻留内存很低(我什至重新启动了 mongod 进程，运行了 touch 命令，即使“mapped”和“vsize”飙升到很多 GB，驻留内存仍然很低，35m) .我尝试重新索引集合，瞧瞧，驻留内存从 35m -> 20GB。但是，我又一次看到了页面错误。然后我尝试 vmtouch 数据文件(或使用 dd)。同样，很多页面错误。

问题是我不能“只有”500 upserts/sec。我应该更改我的应用程序逻辑吗？我认为使用 256GB 内存我的“事件”工作集(预计 60GB)应该适合内存。我在中间(30GB)，似乎我无法做任何事情来解决这个问题。是numa硬件吗？我应该进行任何其他更改吗？

提前致谢

最佳答案

我刚刚写了一个pretty detailed answer关于驻留内存、页面错误以及如何进行故障排除、调整和调整等的 ServerFault，所以我不会在这里重新散列。

我会说 Sammaye 的评论是正确的，touch(或 dd、vmtouch 等)命令不会导致内存被再次报告为常驻 mongod 进程，直到进程实际访问数据(在那之前它只是在 FS 缓存中)，然后你可以在 SERVER-9415 中解决这个问题。这可能导致常驻内存报告不足。

我认为您已经在查看此处的关键指标，并且您应该能够实现比报告更高的驻留内存(或者至少，将更多数据放入内存而不会出现明显的页面错误)。您所描述的情况听起来像是来自其他地方的内存压力，但我假设您会注意到另一个进程占用了大量内存。

我要指出的是，我之前曾花费数天(字面意思)尝试使特定 AWS 实例超过 30% 的内存阈值，但没有成功。

当我们最终放弃并尝试另一个实例时，没有改变任何东西(我们只是添加了一个新实例作为辅助实例并故障转移到它)它立即占用了超过 70% 的常驻内存。当然，那是在 m2.4xlarge 实例上进行的，因此与您的实例规模不同，但始终值得牢记。如果您可以在另一个实例上尝试，我建议您试一试。

关于MongoDB、NUMA 硬件、页面错误但有足够的 RAM 用于工作集、touch 命令或 vmtouch/dd 未加载到内存中，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19995756/

MongoDBvmtouchstrong驻留常驻memorytouchnumapage-fault

有关MongoDB、NUMA 硬件、页面错误但有足够的 RAM 用于工作集、touch 命令或 vmtouch/dd 未加载到内存中的更多相关文章

  1. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  2. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”，并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符，电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时，所有测试都通过了，但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

  3. ruby-on-rails - 如何在 Rails View 上显示错误消息？ - 2

    我是rails的新手，想在form字段上应用验证。myviewsnew.html.erb.....模拟.rbclassSimulation{:in=>1..25,:message=>'Therowmustbebetween1and25'}end模拟Controller.rbclassSimulationsController我想检查模型类中row字段的整数范围，如果不在范围内则返回错误信息。我可以检查上面代码的范围，但无法返回错误消息提前致谢 最佳答案 关键是您使用的是模型表单，一种显示ActiveRecord模型实例属性的表单。c

  4. 使用 ACL 调用 upload_file 时出现 Ruby S3 "Access Denied"错误 - 2

    我正在尝试编写一个将文件上传到AWS并公开该文件的Ruby脚本。我做了以下事情:s3=Aws::S3::Resource.new(credentials:Aws::Credentials.new(KEY,SECRET),region:'us-west-2')obj=s3.bucket('stg-db').object('key')obj.upload_file(filename)这似乎工作正常，除了该文件不是公开可用的，而且我无法获得它的公共(public)URL。但是当我登录到S3时，我可以正常查看我的文件。为了使其公开可用，我将最后一行更改为obj.upload_file(file

  5. ruby-on-rails - 错误 : Error installing pg: ERROR: Failed to build gem native extension - 2

    我克隆了一个rails仓库，我现在正尝试捆绑安装背景:OSXElCapitanruby2.2.3p173(2015-08-18修订版51636)[x86_64-darwin15]rails-v在您的Gemfile中列出的或native可用的任何gem源中找不到gem'pg(>=0)ruby​​'。运行bundleinstall以安装缺少的gem。bundleinstallFetchinggemmetadatafromhttps://rubygems.org/............Fetchingversionmetadatafromhttps://rubygems.org/...Fe

  6. ruby - ＃之间？ Cooper 的 *Beginning Ruby* 中的错误或异常 - 2

    在Cooper的书BeginningRuby中，第166页有一个我无法重现的示例。classSongincludeComparableattr_accessor:lengthdef(other)@lengthother.lengthenddefinitialize(song_name,length)@song_name=song_name@length=lengthendenda=Song.new('Rockaroundtheclock',143)b=Song.new('BohemianRhapsody',544)c=Song.new('MinuteWaltz',60)a.betwee

  7. ruby-on-rails - 每次我尝试部署时，我都会得到 - (gcloud.preview.app.deploy) 错误响应 : [4] DEADLINE_EXCEEDED - 2

    我是Google云的新手，我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目，而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie

  8. ruby-on-rails - Rails 5 Active Record 记录无效错误 - 2

    我有两个Rails模型，即Invoice和Invoice_details。一个Invoice_details属于Invoice，一个Invoice有多个Invoice_details。我无法使用accepts_nested_attributes_forinInvoice通过Invoice模型保存Invoice_details。我收到以下错误:(0.2ms)BEGIN(0.2ms)ROLLBACKCompleted422UnprocessableEntityin25ms(ActiveRecord:4.0ms)ActiveRecord::RecordInvalid(Validationfa

  9. ruby-on-rails - 将 Ruby 中的日期/时间格式化为 YYYY-MM-DD HH :MM:SS - 2

    这个问题在这里已经有了答案:Railsformattingdate(4个答案)关闭4年前。我想格式化Time.Now函数以显示YYYY-MM-DDHH:MM:SS而不是:“2018-03-0909:47:19+0000”该函数需要放在时间中.现在功能。require‘roo’require‘roo-xls’require‘byebug’file_name=ARGV.first||“Template.xlsx”excel_file=Roo::Spreadsheet.open(“./#{file_name}“,extension::xlsx)xml=Nokogiri::XML::Build

  10. arrays - 这是 Ruby 中 Array.fill 方法的错误吗？ - 2

    这个问题在这里已经有了答案:Arraysmisbehaving(1个回答)关闭6年前。是否应该这样，即我误解了，还是错误？a=Array.new(3,Array.new(3))a[1].fill('g')=>[["g","g","g"],["g","g","g"],["g","g","g"]]它不应该导致:=>[[nil,nil,nil],["g","g","g"],[nil,nil,nil]]

随机推荐