jjzjj

java - 大量内存泄漏导致堆大小在大约8秒内从大约64mb变为1.5gb。垃圾收集器有问题吗?

coder 2023-05-15 原文

这是问题所在:

如您所见,内存使用 swift 膨胀!我不得不向JVM添加参数以增加堆大小,以避免在弄清楚发生了什么时避免出现内存不足错误。不好!

基本应用程序摘要(针对上下文)

(最终)该应用程序将用于自动化的屏幕CV和模板匹配类型的东西。我希望获得尽可能高的帧速率来观看屏幕,并通过一系列独立的使用者线程来处理所有处理。

我很快发现普通的Robot类在速度上确实很糟糕,因此我打开了源代码,消除了所有重复的工作并浪费了开销,然后将其重建为我自己的类FastRobot。

类(class)代码:

public class FastRobot {
    private Rectangle screenRect;
    private GraphicsDevice screen;
    private final Toolkit toolkit;
    private final Robot elRoboto;
    private final RobotPeer peer;
    private final Point gdloc;
    private final DirectColorModel screenCapCM;
    private final int[] bandmasks;

    public FastRobot() throws HeadlessException, AWTException {
        this.screenRect = new Rectangle(Toolkit.getDefaultToolkit().getScreenSize());
        this.screen = GraphicsEnvironment.getLocalGraphicsEnvironment().getDefaultScreenDevice();
        toolkit = Toolkit.getDefaultToolkit();
        elRoboto = new Robot();
        peer = ((ComponentFactory)toolkit).createRobot(elRoboto, screen);

        gdloc = screen.getDefaultConfiguration().getBounds().getLocation();
        this.screenRect.translate(gdloc.x, gdloc.y);

        screenCapCM = new DirectColorModel(24,
                /* red mask */    0x00FF0000,
                /* green mask */  0x0000FF00,
                /* blue mask */   0x000000FF);
        bandmasks = new int[3];
        bandmasks[0] = screenCapCM.getRedMask();
        bandmasks[1] = screenCapCM.getGreenMask();
        bandmasks[2] = screenCapCM.getBlueMask();

        Toolkit.getDefaultToolkit().sync();
    }

    public void autoResetGraphicsEnv() {
        this.screenRect = new Rectangle(Toolkit.getDefaultToolkit().getScreenSize());
        this.screen = GraphicsEnvironment.getLocalGraphicsEnvironment().getDefaultScreenDevice();
    }

    public void manuallySetGraphicsEnv(Rectangle screenRect, GraphicsDevice screen) {
        this.screenRect = screenRect;
        this.screen = screen;
    }


    public BufferedImage createBufferedScreenCapture(int pixels[]) throws HeadlessException, AWTException {
//      BufferedImage image;
        DataBufferInt buffer;
        WritableRaster raster;

        pixels = peer.getRGBPixels(screenRect);
        buffer = new DataBufferInt(pixels, pixels.length);

        raster = Raster.createPackedRaster(buffer, screenRect.width, screenRect.height, screenRect.width, bandmasks, null);
        return new BufferedImage(screenCapCM, raster, false, null);
    }

    public int[] createArrayScreenCapture() throws HeadlessException, AWTException {
            return peer.getRGBPixels(screenRect);
    }

    public WritableRaster createRasterScreenCapture(int pixels[]) throws HeadlessException, AWTException {
    //  BufferedImage image;
        DataBufferInt buffer;
        WritableRaster raster;

        pixels = peer.getRGBPixels(screenRect);
        buffer = new DataBufferInt(pixels, pixels.length);

        raster = Raster.createPackedRaster(buffer, screenRect.width, screenRect.height, screenRect.width, bandmasks, null);
    //  SunWritableRaster.makeTrackable(buffer);
        return raster;
    }
}

本质上,我从原始版本所做的所有更改都是从函数主体中移走了许多分配,并将它们设置为类的属性,这样就不会每次都调用它们。这样做实际上对帧速率有很大影响。即使在我的笔记本电脑严重不足的情况下,使用普通的机器人类时,速度也从〜4 fps变为使用我的FastRobot类时的〜30 fps。

第一次测试:

当我在主程序中开始内存不足错误时,我设置了这个非常简单的测试来关注FastRobot。注意:这是产生上面的堆概要文件的代码。
public class TestFBot {
    public static void main(String[] args) {
        try {
            FastRobot fbot = new FastRobot();

            double startTime = System.currentTimeMillis();
            for (int i=0; i < 1000; i++)
                fbot.createArrayScreenCapture();
            System.out.println("Time taken: " + (System.currentTimeMillis() - startTime)/1000.);

        } catch (AWTException e) {
            e.printStackTrace();
        }
    }
}

已检查:

它不会每次都这样做,这确实很奇怪(令人沮丧!)。实际上,上面的代码很少这样做。但是,如果我有多个连续的for循环,则内存问题很容易重现。

测试2
public class TestFBot {
    public static void main(String[] args) {
        try {
            FastRobot fbot = new FastRobot();

            double startTime = System.currentTimeMillis();
            for (int i=0; i < 1000; i++)
                fbot.createArrayScreenCapture();
            System.out.println("Time taken: " + (System.currentTimeMillis() - startTime)/1000.);

            startTime = System.currentTimeMillis();
            for (int i=0; i < 500; i++)
                fbot.createArrayScreenCapture();
            System.out.println("Time taken: " + (System.currentTimeMillis() - startTime)/1000.);

            startTime = System.currentTimeMillis();
            for (int i=0; i < 200; i++)
                fbot.createArrayScreenCapture();
            System.out.println("Time taken: " + (System.currentTimeMillis() - startTime)/1000.);

            startTime = System.currentTimeMillis();
            for (int i=0; i < 1500; i++)
                fbot.createArrayScreenCapture();
            System.out.println("Time taken: " + (System.currentTimeMillis() - startTime)/1000.);

        } catch (AWTException e) {
            e.printStackTrace();
        }
    }
}

已检查

现在,失控堆是可重现的,我会说大约80%的时间。我已经通过探查器查看了所有内容,但最值得注意的是(我认为)垃圾收集器似乎在第四个也是最后一个循环开始时就停止了。

上面代码的输出给出了以下时间:
Time taken: 24.282    //Loop1
Time taken: 11.294    //Loop2
Time taken: 7.1       //Loop3
Time taken: 70.739    //Loop4

现在,如果将前三个循环相加,则总计为42.676,这可疑地对应于垃圾收集器停止的确切时间,并且内存达到峰值。

现在,这是我第一次进行概要分析,更不用说我第一次想到垃圾收集了-总是在后台做一些神奇的事情-所以,我不确定,如果有的话,我发现了。

其他个人资料信息

奥古斯托建议查看内存配置文件。有1500多种int[]列为“无法访问,但尚未收集”。这些肯定是int[]创建的peer.getRGBPixels()数组,但是由于某些原因它们没有被销毁。不幸的是,这些附加信息只会使我感到困惑,因为我不确定为什么GC不会收集它们

使用小堆参数-Xmx256m的配置文件:

在无可争议且热门的建议下,我将最大堆大小设置为明显较小的值。尽管这样做确实可以防止它使内存使用量增加1gb,但仍无法解释为什么程序在进入第4次迭代时会 swift 膨胀到最大堆大小。

如您所见,确切的问题仍然存在,只是被缩小了。 ;)该解决方案的问题在于,由于某种原因,该程序仍在消耗其可能的所有内存-从最初的迭代开始,fps性能也发生了显着变化,这消耗很少的内存,并且最后的迭代,它将消耗尽可能多的内存。

问题仍然是为什么它会 swift 膨胀?

点击“强制垃圾收集”按钮后的结果:

在jtahlborn的建议下,我按下了“垃圾回收”按钮。它工作得很漂亮。它从1gb的内存使用量下降到60mb左右的基线。

因此,这似乎是治疗方法。现在的问题是,如何以编程方式强制GC执行此操作?

将本地Peer添加到函数范围后的结果:

根据David Waters的建议,我修改了createArrayCapture()函数,使其包含一个本地Peer对象。

不幸的是,内存使用模式没有变化。

在第3次或第4次迭代中仍然会变得巨大。

内存池分析:

来自不同内存池的ScreenShot

所有池:

伊甸园池:

老一代:

几乎所有的内存使用情况似乎都落在该池中。

注意:PS Survivor Space的使用率(显然)为0

我还有几个问题:

(a)Garbage Profiler图形是否表示我认为的含义?还是我将因果关系混淆了?正如我所说,我处于这些问题的未知 Realm 。

(b)如果是垃圾收集器...我该怎么办..?为什么它完全停止,然后在程序的其余部分以降低的速度运行?

(c)我该如何解决?

这里发生了什么?

最佳答案

尝试手动指定垃圾收集器。

并发标记扫描是一种很好的通用工具,可以在低暂停和合理吞吐量之间取得良好的平衡。

如果您使用的是Java 7或更高版本的Java 6,G1收集器可能会更好,因为它还可以防止内存碎片。

您可以检查Java SE Hotspot Virtual Machine Garbage Collection Tuning页面以获取更多信息和指针:-D

关于java - 大量内存泄漏导致堆大小在大约8秒内从大约64mb变为1.5gb。垃圾收集器有问题吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15141011/

有关java - 大量内存泄漏导致堆大小在大约8秒内从大约64mb变为1.5gb。垃圾收集器有问题吗?的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  3. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止,这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  4. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题,我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  5. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么? 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设? 关于java-等价于Java中的RubyHash,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/22737685/

  6. ruby - 无法在 60 秒内获得稳定的 Firefox 连接 (127.0.0.1 :7055) - 2

    我使用的是Firefox版本36.0.1和Selenium-Webdrivergem版本2.45.0。我能够创建Firefox实例,但无法使用脚本继续进行进一步的操作无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055)错误。有人能帮帮我吗? 最佳答案 我遇到了同样的问题。降级到firefoxv33后一切正常。您可以找到旧版本here 关于ruby-无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055),我们在StackOverflow上找到一个类

  7. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  8. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java,并成功地将它与另一个Java包一起使用,但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  9. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章? - 2

    我意识到这可能是一个非常基本的问题,但我现在已经花了几天时间回过头来解决这个问题,但出于某种原因,Google就是没有帮助我。(我认为部分问题在于我是一个初学者,我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI,但我仍然停留在这个问题上.我找到了一些关于多态关系的信息,但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  10. java - 我的模型类或其他类中应该有逻辑吗 - 2

    我只想对我一直在思考的这个问题有其他意见,例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

随机推荐