我在我的 Rails 代码中发现了内存泄漏 - 也就是说，我发现了代码泄漏的什么，但没有找到泄漏的原因。我已将其简化为不需要 Rails 的测试用例:

require 'csspool'
require 'ruby-mass'

def report
    puts 'Memory ' + `ps ax -o pid,rss | grep -E "^[[:space:]]*#{$$}"`.strip.split.map(&:to_i)[1].to_s + 'KB'
    Mass.print
end

report

# note I do not store the return value here
CSSPool::CSS::Document.parse(File.new('/home/jason/big.css'))

ObjectSpace.garbage_collect
sleep 1

report

ruby-mass 据说可以让我看到内存中的所有对象。 CSSPool 是一个基于 racc 的 CSS 解析器。/home/jason/big.css 是 a 1.5MB CSS file 。

这个输出:

Memory 9264KB

==================================================
 Objects within [] namespace
==================================================
  String: 7261
  RubyVM::InstructionSequence: 1151
  Array: 562
  Class: 313
  Regexp: 181
  Proc: 111
  Encoding: 99
  Gem::StubSpecification: 66
  Gem::StubSpecification::StubLine: 60
  Gem::Version: 60
  Module: 31
  Hash: 29
  Gem::Requirement: 25
  RubyVM::Env: 11
  Gem::Specification: 8
  Float: 7
  Gem::Dependency: 7
  Range: 4
  Bignum: 3
  IO: 3
  Mutex: 3
  Time: 3
  Object: 2
  ARGF.class: 1
  Binding: 1
  Complex: 1
  Data: 1
  Gem::PathSupport: 1
  IOError: 1
  MatchData: 1
  Monitor: 1
  NoMemoryError: 1
  Process::Status: 1
  Random: 1
  RubyVM: 1
  SystemStackError: 1
  Thread: 1
  ThreadGroup: 1
  fatal: 1
==================================================

Memory 258860KB

==================================================
 Objects within [] namespace
==================================================
  String: 7456
  RubyVM::InstructionSequence: 1151
  Array: 564
  Class: 313
  Regexp: 181
  Proc: 113
  Encoding: 99
  Gem::StubSpecification: 66
  Gem::StubSpecification::StubLine: 60
  Gem::Version: 60
  Module: 31
  Hash: 30
  Gem::Requirement: 25
  RubyVM::Env: 13
  Gem::Specification: 8
  Float: 7
  Gem::Dependency: 7
  Range: 4
  Bignum: 3
  IO: 3
  Mutex: 3
  Time: 3
  Object: 2
  ARGF.class: 1
  Binding: 1
  Complex: 1
  Data: 1
  Gem::PathSupport: 1
  IOError: 1
  MatchData: 1
  Monitor: 1
  NoMemoryError: 1
  Process::Status: 1
  Random: 1
  RubyVM: 1
  SystemStackError: 1
  Thread: 1
  ThreadGroup: 1
  fatal: 1
==================================================

您可以看到内存在一路上升。一些计数器上升，但不存在特定于 CSSPool 的对象。我使用 ruby​​-mass 的“索引”方法来检查具有如下引用的对象:

Mass.index.each do |k,v|
    v.each do |id|
        refs = Mass.references(Mass[id])
        puts refs if !refs.empty?
    end
end

但同样，这并没有给我任何与 CSSPool 相关的信息，只是 gem 信息等。

我也试过输出“GC.stat”...

puts GC.stat
CSSPool::CSS::Document.parse(File.new('/home/jason/big.css'))
ObjectSpace.garbage_collect
sleep 1
puts GC.stat

结果:

{:count=>4, :heap_used=>126, :heap_length=>138, :heap_increment=>12, :heap_live_num=>50924, :heap_free_num=>24595, :heap_final_num=>0, :total_allocated_object=>86030, :total_freed_object=>35106}
{:count=>16, :heap_used=>6039, :heap_length=>12933, :heap_increment=>3841, :heap_live_num=>13369, :heap_free_num=>2443302, :heap_final_num=>0, :total_allocated_object=>3771675, :total_freed_object=>3758306}

据我了解，如果未引用对象并且发生垃圾收集，则应从内存中清除该对象。但这似乎不是这里发生的事情。

我还阅读了有关 C 级内存泄漏的信息，并且由于 CSSPool 使用使用 C 代码的 Racc，我认为这是一种可能性。我已经通过 Valgrind 运行我的代码:

valgrind --partial-loads-ok=yes --undef-value-errors=no --leak-check=full --fullpath-after= ruby leak.rb 2> valgrind.txt

结果是 here 。我不确定这是否证实了 C 级泄漏，因为我还读到 Ruby 会用内存做一些 Valgrind 不理解的事情。

使用的版本:

• Ruby 2.0.0-p247(这是我的 Rails 应用运行的)
• Ruby 1.9.3-p392-ref(用于使用 ruby​​-mass 进行测试)
• ruby 质量 0.1.3
• 来自 here 的 CSSPool 4.0.0
• CentOS 6.4 和 Ubuntu 13.10

最佳答案

看来您正在进入失落的世界。我也不认为问题出在 racc 中的 c 绑定(bind)。

Ruby 内存管理既优雅又繁琐。它将对象(名为 RVALUE)存储在大小约为 16KB 的所谓堆中。在低级别上，RVALUE 是一个 c 结构，包含不同标准 ruby​​ 对象表示的 union。

因此，堆存储RVALUE 对象，其大小不超过 40 字节。对于 String、Array、Hash 等对象，这意味着小对象可以放入堆中，但一旦它们到达阈值，将分配 Ruby 堆之外的额外内存。

这个额外的内存是灵活的；一旦对象被 GC 处理，它就会被释放。这就是为什么您的带有 big_string 的测试用例显示内存上下行为的原因:

def report
  puts 'Memory ' + `ps ax -o pid,rss | grep -E "^[[:space:]]*#{$$}"`
          .strip.split.map(&:to_i)[1].to_s + 'KB'
end
report
big_var = " " * 10000000
report
big_var = nil 
report
ObjectSpace.garbage_collect
sleep 1
report
# ⇒ Memory 11788KB
# ⇒ Memory 65188KB
# ⇒ Memory 65188KB
# ⇒ Memory 11788KB

但是堆(参见 GC[:heap_length])本身不会释放回到操作系统，一旦获得。看，我将对您的测试用例进行简单的更改:

- big_var = " " * 10000000
+ big_var = 1_000_000.times.map(&:to_s)

然后，瞧:

# ⇒ Memory 11788KB
# ⇒ Memory 65188KB
# ⇒ Memory 65188KB
# ⇒ Memory 57448KB

内存不再释放回操作系统，因为我引入的数组的每个元素适合 RVALUE 大小并且存储在 ruby 堆。

如果您在 GC 运行后检查 GC.stat 的输出，您会发现 GC[:heap_used] 值按预期减少。 Ruby 现在有很多空堆，准备好了。

总结:我不认为 c 代码泄漏。我认为问题出在您的 css 中巨大图像的 base64 表示中。我不知道解析器内部发生了什么，但看起来巨大的字符串迫使 ruby​​ 堆计数增加。

希望对您有所帮助。

关于ruby - 查找 Ruby 中内存泄漏的原因，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/20385767/