jjzjj

java - 如何在应用程序中持续保持 5GB 内存,而不会因 GC 而导致性能不佳?

coder 2024-03-08 原文

我的应用程序是地理应用程序。 由于要求响应时间短,我的每个实例都将所有点加载到内存并将它们存储在结构(四叉树)中。

我们每分钟加载所有点(与数据库同步)并将它们放入几个四叉树中。

我们现在有 0.5GB 积分。 我正在努力准备下一个级别的 5GB 积分。 虚拟机: -XX:NewSize=6g -Xms20g -Xmx20g -XX:+UseConcMarkSweepGC -verboseGC -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintGCDetails

由于 GC,实例的启动花费了很多时间,另外应用程序一直受到 GC 的影响。

我想引用大堆的 GC。

我能想到几个解决方案:

  1. 只刷新数据库中的更改,而不是每次都加载所有数据库。 缺点 - 在应用程序的早期阶段仍然会遭受 GC,Long time GC。

  2. 堆外解决方案。将点 I​​D 存储在四叉树中,并将点存储在堆外。 缺点 - 序列化时间,地理结构是少数对象的复杂而不是简单的对象。

  3. 为每个实例创建具有结构的附加实例并针对该实例进行查询。 geo 实例将保存长期存在的对象,并且可以对长期存在的对象进行 GC 调整。 缺点 - 复杂性和响应时间。

任何对包含很少 GIG 长生命周期对象的应用的文章的引用都将非常受欢迎。

在 Ubuntu(亚马逊)上运行。 Java 7。没有内存限制。

问题是每次刷新数据时停顿时间过长。

刷新的Gc日志:

2014-06-15T16:32:58.551+0000: 1037.469: [GC2014-06-15T16:32:58.551+0000: 1037.469: [ParNew: 5325855K->259203K(5662336K), 0.0549830 secs] 16711893K->11645244K(20342400K), 0.0551490 secs] [Times: user=0.71 sys=0.00, real=0.05 secs] 

2014-06-15T16:33:02.383+0000: 1041.302: [GC2014-06-15T16:33:02.383+0000: 1041.302: [ParNew: 5292419K->470768K(5662336K), 0.0851740 secs] 16678460K->11856811K(20342400K), 0.0853260 secs] [Times: user=1.09 sys=0.00, real=0.09 secs] 

2014-06-15T16:33:06.114+0000: 1045.033: [GC2014-06-15T16:33:06.114+0000: 1045.033: [ParNew: 5503984K->629120K(5662336K), 1.5475170 secs] 16890027K->12193877K(20342400K), 1.5476760 secs] [Times: user=5.49 sys=0.61, real=1.55 secs] 

2014-06-15T16:33:11.145+0000: 1050.063: [GC2014-06-15T16:33:11.145+0000: 1050.063: [ParNew: 5662336K->558612K(5662336K), 0.7742870 secs] 17227093K->12758866K(20342400K), 0.7744610 secs] [Times: user=3.88 sys=0.82, real=0.77 secs] 

2014-06-15T16:33:11.920+0000: 1050.838: [GC [1 CMS-initial-mark: 12200254K(14680064K)] 12761216K(20342400K), 0.1407080 secs] [Times: user=0.13 sys=0.01, real=0.14 secs] 

2014-06-15T16:33:12.061+0000: 1050.979: [CMS-concurrent-mark-start]

2014-06-15T16:33:14.208+0000: 1053.127: [CMS-concurrent-mark: 2.148/2.148 secs] [Times: user=19.46 sys=0.44, real=2.15 secs] 

2014-06-15T16:33:14.208+0000: 1053.127: [CMS-concurrent-preclean-start]

2014-06-15T16:33:14.232+0000: 1053.150: [CMS-concurrent-preclean: 0.023/0.023 secs] [Times: user=0.14 sys=0.01, real=0.02 secs] 

2014-06-15T16:33:14.232+0000: 1053.150: [CMS-concurrent-abortable-preclean-start]

2014-06-15T16:33:15.629+0000: 1054.548: [GC2014-06-15T16:33:15.630+0000: 1054.548: [ParNew: 5591828K->563654K(5662336K), 0.1279360 secs] 17792082K->12763908K(20342400K), 0.1280840 secs] [Times: user=1.65 sys=0.00, real=0.13 secs] 

2014-06-15T16:33:19.143+0000: 1058.062: [GC2014-06-15T16:33:19.143+0000: 1058.062: [ParNew: 5596870K->596692K(5662336K), 0.3445070 secs] 17797124K->13077191K(20342400K), 0.3446730 secs] [Times: user=3.06 sys=0.34, real=0.35 secs] 

 CMS: abort preclean due to time 2014-06-15T16:33:19.832+0000: 1058.750: [CMS-concurrent-abortable-preclean: 5.124/5.600 secs] [Times: user=35.91 sys=1.67, real=5.60 secs] 

最佳答案

人们对上面的设计要点提出了一些非常好的评论,您绝对应该考虑。如果您只考虑 GC 影响,您的问题就有点难以回答,因为垃圾收集调整不是一门精确的科学。您可能希望考虑的是您正在使用的实际 GC 算法。但首先介绍一下背景:

垃圾收集是分代的,它的性能依赖于 high infant mortality对象的速率 - 即对象在应用程序流程中被创建并迅速销毁。您持有大对象(由于缓存性质),这意味着您将填满伊甸园,并且需要 GC 将这些对象提升到幸存者和永久空间。

这意味着如果您需要回收此内存,它很可能处于永久使用状态,因此需要更长的 GC 暂停时间来收集。但是,考虑到堆的大小,这可能不是问题,因为它可能永远不需要执行完整的 GC。健康的应用程序预计会在很短的时间内频繁 GC 以收集 Eden,因此不要因垃圾收集器的启动而分心。但是,请对 Full GC 感到担忧。如果您还没有打开垃圾收集器日志,现在是时候打开了,因为这将允许您进行衡量,而不是做出假设(如果您已经打开的话)。

-XX:+PrintGCDetails 
-XX:+PrintGCDateStamps 
-XX:+PrintTenuringDistribution 

另见 this answer了解更多详情。

从 Java 7 update 4 开始,您可以使用 G1 垃圾收集器。该算法专门设计用于处理多核机器上的大型堆。当你启动你的应用程序时,你会使用类似这样的命令:

java -Xmx50m -Xms50m -XX:+UseG1GC -XX:MaxGCPauseMillis=200

这允许您指定您的堆大小和您希望实现的目标性能。 G1 的工作方式与默认使用的标记清除算法略有不同,因为它在不同区域查看整个堆,并尝试声明其中大部分是垃圾的区域。完全可回收的堆段回收成本低,因此它会找到尽可能多的区域尽可能收集这些并在您想要的暂停时间内收集它们。它尽可能多地并行利用您的多核来避免在停止世界期间浪费时间。

当然不能保证 G1 将成为解决您问题的 Elixir ,但根据您的特点,您可能会发现它非常适合您(因为缓存中不需要的东西可以更容易地删除并且由于本地的原则,可能位于很近的地方)。 G1上有一些新手资料here .也看看这个 article这比我在这里更深入。

关于java - 如何在应用程序中持续保持 5GB 内存,而不会因 GC 而导致性能不佳?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24077635/

有关java - 如何在应用程序中持续保持 5GB 内存,而不会因 GC 而导致性能不佳?的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代

  3. ruby - 如何在 buildr 项目中使用 Ruby 代码? - 2

    如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  4. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  5. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe? - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗?我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe,无需等待进程完成是否有任何ruby​​gems会支持我的问题? 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  6. ruby - Highline 询问方法不会使用同一行 - 2

    设置:狂欢ruby1.9.2高线(1.6.13)描述:我已经相当习惯在其他一些项目中使用highline,但已经有几个月没有使用它了。现在,在Ruby1.9.2上全新安装时,它似乎不允许在同一行回答提示。所以以前我会看到类似的东西:require"highline/import"ask"Whatisyourfavoritecolor?"并得到:Whatisyourfavoritecolor?|现在我看到类似的东西:Whatisyourfavoritecolor?|竖线(|)符号是我的终端光标。知道为什么会发生这种变化吗? 最佳答案

  7. ruby - 如何在续集中重新加载表模式? - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  8. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式? - 2

    我正在为一个项目制作一个简单的shell,我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止,我一直在使用CSV::parse_line,将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  9. ruby-on-rails - 项目升级后 Pow 不会更改 ruby​​ 版本 - 2

    我在我的Rails项目中使用Pow和powifygem。现在我尝试升级我的ruby​​版本(从1.9.3到2.0.0,我使用RVM)当我切换ruby​​版本、安装所有gem依赖项时,我通过运行railss并访问localhost:3000确保该应用程序正常运行以前,我通过使用pow访问http://my_app.dev来浏览我的应用程序。升级后,由于错误Bundler::RubyVersionMismatch:YourRubyversionis1.9.3,butyourGemfilespecified2.0.0,此url不起作用我尝试过的:重新创建pow应用程序重启pow服务器更新战俘

  10. ruby - 如何在 Lion 上安装 Xcode 4.6,需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby,并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

随机推荐