jjzjj

c++ - std::vector 的性能差是因为没有调用 realloc 的对数次数吗?

coder 2024-02-06 原文

编辑:我又添加了两个基准测试,以比较 realloc 与 C 数组的使用以及 reserve() 与 std::vector 的使用。从最后的分析来看,realloc 的影响似乎很大,即使只调用了 30 次。检查文档我猜这是因为 realloc 可以返回一个全新的指针,复制旧指针。 为了完成这个场景,我还添加了用于在初始化期间完全分配数组的代码和图表。与 reserve() 的区别是显而易见的。

编译标志:仅图中描述的优化,使用 g++ 编译,仅此而已。

原始问题:

我对 std::vector 与新建/删除数组进行了基准测试,当我添加 10 亿个整数时,第二个代码比使用 vector 的代码快得多,尤其是在优化的情况下开启。

我怀疑这是vector内部调用realloc次数太多造成的。如果 vector 每次填充时都不会增长一倍,就会出现这种情况(这里数字 2 没有什么特别的,重要的是它的大小呈几何增长)。 在这种情况下,对 realloc 的调用将仅为 O(log n) 而不是 O(n)

如果这就是导致第一个代码运行缓慢的原因,我该如何告诉 std::vector 以几何方式增长?

请注意,调用 reserve once 在这种情况下会起作用,但在更一般的情况下不起作用,在这种情况下 push_back 的数量是事先不知道的。

黑线

#include<vector>

int main(int argc, char * argv[]) {
    const unsigned long long size = 1000000000;

    std::vector <int> b(size);
    for(int i = 0; i < size; i++) {
        b[i]=i;
    }    
    return 0;
}

蓝线

#include<vector>

int main(int argc, char * argv[]) {
    const int size = 1000000000;    
    std::vector <int> b;
    for(int i = 0; i < size; i++) {
        b.push_back(i);
    }    

    return 0;
}

绿线

#include<vector>

int main(int argc, char * argv[]) {
    const int size = 1000000000;
    std::vector <int> b;
    b.reserve(size);
    for(int i = 0; i < size; i++) {
        b.push_back(i);
    }    

    return 0;
}

红线

int main(int argc, char * argv[]) {
    const int size = 1000000000;
    int * a = new int [size];
    for(int i = 0; i < size; i++) {
        a[i] = i;
    }
    delete [] a;   
    return 0;
}

橙线

#include<vector>

int main(int argc, char * argv[]) {
    const unsigned long long size = 1000000000;
    int * a = (int *)malloc(size*sizeof(int));
    int next_power = 1;
    for(int i = 0; i < size; i++) {
        a[i] = i;
        if(i == next_power - 1) {
            next_power *= 2;
            a=(int*)realloc(a,next_power*sizeof(int));
        }
    }
    free(a);
    return 0;
}

编辑:按照建议检查.capacity(),我们看到增长确实呈指数级增长。那么为什么 vector 这么慢?

最佳答案

优化后的 C 样式数组优化为空。

On godbolt :

xorl %eax, %eax
retq

这就是程序。

每当你有一个优化到接近 0 的程序时,你应该考虑这种可能性。

优化器发现您没有对分配的内存执行任何操作,注意到未使用的分配内存可能具有零副作用,并消除了分配。

并且写入内存然后从不读取它也具有零副作用。

相比之下,编译器很难证明 vector 的分配是无用的。编译器开发人员可能会教它识别未使用的 std vector ,就像他们识别未使用的原始 C 数组一样,但这种优化确实是一个极端情况,根据我的经验,它会导致很多问题分析。

请注意,在任何优化级别的 vector-with-reserve 与未优化的 C 样式版本的速度基本相同。

在 C 风格的代码中,唯一需要优化的是“什么都不做”。在 vector 代码中,未优化的版本充满了额外的堆栈帧和调试检查,以确保您不会越界(如果越界,则彻底崩溃)。

请注意,在 Linux 系统上,分配大块内存除了摆弄虚拟内存表外没有任何作用。只有当内存被触摸时,它才会真正为您找到一些零的物理内存。

毫无保留地,std vector 必须猜测一个初始的小尺寸,调整它的大小并复制它,然后重复。这会导致 50% 的性能损失,这对我来说似乎是合理的。

有了保留,它实际上就完成了工作。这项工作只需不到 5 秒。

通过推回添加到 vector 确实会导致它呈几何增长。几何增长导致每份数据的 2-3 个拷贝的渐近平均。


至于重新分配,std::vector 重新分配。它分配一个新缓冲区,并复制旧数据,然后丢弃旧数据。

Realoc 尝试增大缓冲区,如果不能,则按位复制缓冲区。

这比 std vector 管理按位可复制类型的效率更高。我敢打赌 realloc 版本实际上从不复制;总是有内存空间可以将 vector 增长到(在实际程序中可能不是这种情况)。

std 库分配器中缺少 realloc 是一个小缺陷。您必须为它发明一个新的 API,因为您希望它适用于非按位复制(类似于“尝试增加分配的内存”,如果失败则由您决定增加分配)。

关于c++ - std::vector 的性能差是因为没有调用 realloc 的对数次数吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49615076/

有关c++ - std::vector 的性能差是因为没有调用 realloc 的对数次数吗?的更多相关文章

  1. ruby - 难道Lua没有和Ruby的method_missing相媲美的东西吗? - 2

    我好像记得Lua有类似Ruby的method_missing的东西。还是我记错了? 最佳答案 表的metatable的__index和__newindex可以用于与Ruby的method_missing相同的效果。 关于ruby-难道Lua没有和Ruby的method_missing相媲美的东西吗?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/7732154/

  2. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常,我可以创建项目。但是在我输入“railsnew”时重新启动后,我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  3. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  4. ruby - 在没有 sass 引擎的情况下使用 sass 颜色函数 - 2

    我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem,所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re

  5. 没有类的 Ruby 方法? - 2

    大家好!我想知道Ruby中未使用语法ClassName.method_name调用的方法是如何工作的。我头脑中的一些是puts、print、gets、chomp。可以在不使用点运算符的情况下调用这些方法。为什么是这样?他们来自哪里?我怎样才能看到这些方法的完整列表? 最佳答案 Kernel中的所有方法都可用于Object类的所有对象或从Object派生的任何类。您可以使用Kernel.instance_methods列出它们。 关于没有类的Ruby方法?,我们在StackOverflow

  6. ruby-on-rails - Rails 3,嵌套资源,没有路由匹配 [PUT] - 2

    我真的为这个而疯狂。我一直在搜索答案并尝试我找到的所有内容,包括相关问题和stackoverflow上的答案,但仍然无法正常工作。我正在使用嵌套资源,但无法使表单正常工作。我总是遇到错误,例如没有路线匹配[PUT]"/galleries/1/photos"表格在这里:/galleries/1/photos/1/edit路线.rbresources:galleriesdoresources:photosendresources:galleriesresources:photos照片Controller.rbdefnew@gallery=Gallery.find(params[:galle

  7. ruby-on-rails - 有没有办法为 CarrierWave/Fog 设置上传进度指示器? - 2

    我在Rails应用程序中使用CarrierWave/Fog将视频上传到AmazonS3。有没有办法判断上传的进度,让我可以显示上传进度如何? 最佳答案 CarrierWave和Fog本身没有这种功能;你需要一个前端uploader来显示进度。当我不得不解决这个问题时,我使用了jQueryfileupload因为我的堆栈中已经有jQuery。甚至还有apostonCarrierWaveintegration因此您只需按照那里的说明操作即可获得适用于您的应用的进度条。 关于ruby-on-r

  8. ruby - 没有类方法获取 Ruby 类名 - 2

    如何在Ruby中获取BasicObject实例的类名?例如,假设我有这个:classMyObjectSystem我怎样才能使这段代码成功?编辑:我发现Object的实例方法class被定义为returnrb_class_real(CLASS_OF(obj));。有什么方法可以从Ruby中使用它? 最佳答案 我花了一些时间研究irb并想出了这个:classBasicObjectdefclassklass=class这将为任何从BasicObject继承的对象提供一个#class您可以调用的方法。编辑评论中要求的进一步解释:假设你有对象

  9. ruby - 使用 `+=` 和 `send` 方法 - 2

    如何将send与+=一起使用?a=20;a.send"+=",10undefinedmethod`+='for20:Fixnuma=20;a+=10=>30 最佳答案 恐怕你不能。+=不是方法,而是语法糖。参见http://www.ruby-doc.org/docs/ProgrammingRuby/html/tut_expressions.html它说Incommonwithmanyotherlanguages,Rubyhasasyntacticshortcut:a=a+2maybewrittenasa+=2.你能做的最好的事情是:

  10. ruby - 没有轨道的 ActiveRecord 时区 - 2

    我在非Rails项目中使用ActiveRecord。在Rails中,我可以这样做:config.time_zone='EasternTime(US&Canada)'config.active_record.default_timezone='EasternTime(US&Canada)'但如果我不使用rails,我该如何设置时区? 最佳答案 ActiveRecord::Base.default_timezone='EasternTime(US&Canada)' 关于ruby-没有轨道的A

随机推荐