jjzjj

c++ - 在Windows上打开文件的内存开销是多少？

coder 2023-11-11 原文

TL; DR

在现代Windows系统上打开文件需要占用多少内存？某些应用程序负载将需要打开“大量”文件。 Windows非常有能力打开“大量”文件，但是保持单个文件打开的负担是什么，以便人们可以确定何时“大量”是“太多”？

背景

为了在32位进程中顺序处理大型数据集(100s MB〜几GB)，我们需要提供一个缓冲区，将其内容存储在磁盘上而不是内存中。

我们已经充实了一点类(class)，没有太多问题(将CreateFile与FILE_ATTRIBUTE_TEMPORARY和FILE_FLAG_DELETE_ON_CLOSE一起使用)。

问题是，这些缓冲区的使用方式使得每个缓冲区(每个临时文件)都可能存储从几个字节到几GB的数据，并且我们希望将缓冲区类本身保持在最小限度并尽可能一般的尽可能。

用例的范围从100个缓冲区(每个缓冲区约100MB)到100.000s缓冲区(每个缓冲区仅几个字节)。 (是的，从这个意义上讲，每个缓冲区都有自己的文件很重要。)

在缓冲区类中包含一个缓冲区阈值似乎很自然，该缓冲区阈值仅在其实际存储的字节数超过创建和引用临时文件所用(内存)开销的字节数时才开始创建和使用临时磁盘文件。以及物理机内存上的负载。

问题

在现代Windows系统上，打开(临时)文件需要多少字节的内存？

  • 将CreateFile与FILE_ATTRIBUTE_TEMPORARY和FILE_FLAG_DELETE_ON_CLOSE一起使用
  • 打开文件
    • 的(32位)进程的虚拟地址空间的字节
  • 计算机上物理内存的字节数(包括任何内核数据结构)

    • 也就是说，当您开始看到通过将数据存储在文件中而不是内存中而获得净主内存 yield (过程中以及物理上)时，阈值(以字节为单位)是多少？

    笔记:

    提到的open file limit注释不适用于CreateFile，仅适用于MS CRT文件API。 (通过CreateFile打开10.00s的文件在我的系统上根本没有问题-是否一个好主意完全是另一回事，而不是这个问题的一部分。

    内存映射文件:完全不适合在32位进程中处理GB的数据，因为您不能可靠地将如此大的数据集映射到32位进程的正常2GB地址范围内。对于我的问题是完全没有用的，并且根本不与实际问题相关。普通文件仅适合解决背景问题。

    看了http://blogs.technet.com/b/markrussinovich/archive/2009/09/29/3283844.aspx-它告诉我HANDLE本身在64位系统上占用16个字节，但这仅是句柄。

    查看了STXXL及其文档，但是此lib既不适合我的任务，也没有在开始实际使用文件之前发现任何有用的阈值。

    有用的评论摘要:

    Raymond writes:“答案将取决于所安装的防病毒软件的不同，因此唯一的了解方法是在生产配置上对其进行测试。”

    qwm writes:“我会更关心cpu开销。无论如何，回答您的问题的最好方法是对其进行测试。我只能说_FILE_OBJECT的大小(包括_OBJECT_HEADER)约为300b，其中某些字段是指向其他相关结构的指针。”

    Damon wri tes:“一个正确的答案是:10字节(在我的Windows 7机器上)。由于没有其他人似乎值得实际尝试，所以我做了(测得的MEMORYSTATUSEX::ullAvailVirtual差异超过10万次调用，其他都没有运行。)我不知道为什么它不是8或16字节，占用了大约17秒的内核时间，退出时进程打开了100,030个句柄，运行期间专用工作集增加了412k，而全局可用VM减少了1M ，因此大约60％的内存开销都在内核内部。(...)“

    “更令人震惊的是CreateFile显然消耗了大量的内核时间(这是CPU时间，而不是等待磁盘!)​​。10万次调用的17秒分解为打开该计算机上一个句柄的时间大约为450,000个周期。相比之下，仅有的10个字节的虚拟内存丢失就可以忽略不计了。”

    最佳答案

    我现在进行了一些测量:

  • 我设置了2G的RAM磁盘，以免弄乱我的普通NTFS文件表。
  • 我循环创建了1M个文件(1,000,000个)，并通过perfmon检查了各种系统性能指标。

    • 创建一个临时文件的调用(直到结束时我一直保持它的句柄)如下所示:
    HANDLE CreateNewTempFile(LPCTSTR filePath) {
    return ::CreateFile(
        filePath, 
        GENERIC_READ | GENERIC_WRITE, // reading and writing
        FILE_SHARE_READ, // Note: FILE_FLAG_DELETE_ON_CLOSE will also block readers, unless they specify FILE_SHARE_DELETE 
        /*Security:*/NULL, 
        CREATE_NEW, // only create if does not exist
        FILE_ATTRIBUTE_TEMPORARY | // optimize access for temporary file
        FILE_FLAG_DELETE_ON_CLOSE, // delete once the last handle has been closed
        NULL);
}

    结果是:
  • 再次删除所有临时文件后，RAM磁盘使用情况如下:
  • 总计2060 M字节
  • 已使用1063 M字节
  • 释放997 M字节
  • 比较开始和结束值(之间有一些样本)我得出以下结论:每个打开的(临时)文件的平均内存消耗如下:
  • Memory/Available Bytes-大约每个打开的文件减少4k字节(此计数器上的很多抖动:很明显，因为此测试运行了10分钟，所以
  • 内存/池分页字节-大约每个打开的文件3k字节
  • 内存/池非页面字节数-大约每个打开的文件2.2k字节
  • 还有趣的是，进程内存负载并没有以任何显着方式真正增加(如Process/Working Set所跟踪)。

    • 请注意，我还跟踪了分页，并且根本没有使用页面文件(这是我希望的，因为这台机器具有16GB的RAM，最低时我仍有〜4GB的可用空间)。

    关于c++ - 在Windows上打开文件的内存开销是多少？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/21309852/

    ampWindowscodebrnoreferrerc++winapifile-iocreatefile

    有关c++ - 在Windows上打开文件的内存开销是多少？的更多相关文章

    1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

      我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

    2. ruby - 其他文件中的 Rake 任务 - 2

      我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

    3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

      我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

    4. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

      作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

    5. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

      我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

    6. ruby-on-rails - Rails 3 中的多个路由文件 - 2

      Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

    7. ruby - 将差异补丁应用于字符串/文件 - 2

      对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

    8. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

      我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

    9. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

      使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

    10. ruby-on-rails - 如何优雅地重启 thin + nginx？ - 2

      我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server

    随机推荐