jjzjj

ios - 创建内存累积的 AFHTTPRequestOperations 队列

coder 2024-01-17 原文

我刚刚更新到 AFNetworking 2.0,我正在重写我的代码以下载数据并将其插入到核心数据中。

我下载 JSON 数据文件(从 10-200mb 文件不等),将它们写入磁盘,然后将它们传递给后台线程来处理数据。下面是下载 JSON 并将其写入磁盘的代码。如果我只是让它运行(甚至不处理数据),应用程序会耗尽内存,直到它被终止。

我假设当数据进入时,它存储在内存中,但是一旦我保存到磁盘,为什么它会留在内存中?自动释放池不应该处理这个吗?我还将 responseData 和 downloadData 设置为 nil。有什么明显的地方我做错了吗?

@autoreleasepool
{
    for(int i = 1; i <= totalPages; i++)
    {
        NSString *path = ....
        NSURLRequest *request = [NSURLRequest requestWithURL:[NSURL URLWithString:path]];
        AFHTTPRequestOperation *op = [[AFHTTPRequestOperation alloc] initWithRequest:request];
        op.responseSerializer =[AFJSONResponseSerializer serializer];

        [op setCompletionBlockWithSuccess:^(AFHTTPRequestOperation *operation, id responseObject) 
        {
            //convert dictionary to data 
            NSData *downloadData = [NSKeyedArchiver archivedDataWithRootObject:responseObject];

            //save to disk
            NSError *saveError = nil;
            if (![fileManager fileExistsAtPath:targetPath isDirectory:false])
            {
                [downloadData writeToFile:targetPath options:NSDataWritingAtomic error:&saveError];
                if (saveError != nil) 
                {
                    NSLog(@"Download save failed! Error: %@", [saveError description]);
                }
            }

            responseObject = nil;
            downloadData = nil;

        } failure:^(AFHTTPRequestOperation *operation, NSError *error) {
            DLog(@"Error: %@", error);
        }];
    }
    [mutableOperations addObject:op];
}

NSArray *operations = [AFURLConnectionOperation batchOfRequestOperations:mutableOperations progressBlock:^(NSUInteger numberOfFinishedOperations, NSUInteger totalNumberOfOperations) {
    DLog(@"%lu of %lu complete", (unsigned long)numberOfFinishedOperations, (unsigned long)totalNumberOfOperations);
} completionBlock:^(NSArray *operations) {
    DLog(@"All operations in batch complete");
}];

mutableOperations = nil;
[manager.operationQueue addOperations:operations waitUntilFinished:NO];

谢谢!

编辑 #1 在我的完整 block 中添加一个 @autoreleasepool 似乎稍微减慢了内存使用量,但它仍然会累积并最终导致应用程序崩溃。

最佳答案

如果您的 JSON 文件真的每个 10-200mb,这肯定会导致内存问题,因为这种请求将在内存中加载响应(而不是将它们流式传输到持久存储)。更糟糕的是,因为您使用的是 JSON,我认为问题是两倍,因为您将把它加载到字典/数组中,这也会占用内存。所以,如果你有四个 100mb 的下载正在进行,你的峰值内存使用量可能是 800mb 的数量级(100mb 用于 NSData 加上 ~100mb 用于数组/字典(可能更大),四个并发请求的四倍)。您可能很快就会耗尽内存。

所以,一些 react :

  1. 在处理如此大的数据量时,您需要使用流式接口(interface)(NSURLConnectionNSURLSessionDataTask,您可以在其中写入数据in,而不是将其保存在内存中;或使用 NSURLSessionDownloadTask 为您执行此操作),将数据直接写入持久存储(而不是试图将其保存在 NSData 在 RAM 中,因为它正在下载)。

    如果你使用NSURLSessionDownloadTask,这真的很简单。如果您需要支持 7.0 之前的 iOS 版本,我不确定 AFNetworking 是否支持将响应直接流式传输到持久存储。我敢打赌您可以编写自己的响应序列化程序来执行此操作,但我还没有尝试过。我总是编写自己的 NSURLConnectionDataDelegate 方法,直接下载到持久存储(例如 like this )。

  2. 你可能不想为此使用 JSON(因为 NSJSONSerialization 会将整个资源加载到内存中,然后将其解析为 NSArray/NSDictionary,也在内存中),而是使用一种适合于对响应进行流式解析的格式(例如 XML),并编写一个解析器将数据存储到您的数据存储(Core Data 或 SQLite)中被解析,而不是试图将整个东西加载到 RAM 中。

    请注意,即使 NSXMLParser 的内存效率也低得惊人(参见 this question )。在XMLPerformance示例,Apple 演示了如何使用更麻烦的 LibXML2最小化 XML 解析器的内存占用。

  3. 顺便说一句,我不知道您的 JSON 是否包含您编码的任何二进制数据(例如 base 64 等),但如果是这样,您可能需要考虑一种二进制传输格式,它不'必须做这个转换。使用 base-64 或 uuencode 或任何可以增加带宽和内存需求的东西。 (如果您处理的不是已编码的二进制数据,请忽略这一点。)

  4. 顺便说一句,您可能希望使用“可达性”来确认用户的连接类型(Wifi 与蜂窝网络),因为通过蜂窝网络下载那么多数据被认为是错误的形式(至少在未经用户许可的情况下) ,不仅是因为速度问题,还有用完运营商每月数据计划过多部分的风险。我什至听说 Apple 历来拒绝试图通过蜂窝网络下载过多数据的应用程序。

关于ios - 创建内存累积的 AFHTTPRequestOperations 队列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22231971/

有关ios - 创建内存累积的 AFHTTPRequestOperations 队列的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代

  3. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  4. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  5. ruby-on-rails - 无法使用 Rails 3.2 创建插件? - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject),但我没有脚本/生成,只有脚本/rails,当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗?没有这个命令可以创建插件吗?PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布,插件生成器已经被移除。查看变更日志here.现在

  6. ruby - 如何使用 RSpec::Core::RakeTask 创建 RSpec Rake 任务? - 2

    如何使用RSpec::Core::RakeTask初始化RSpecRake任务?require'rspec/core/rake_task'RSpec::Core::RakeTask.newdo|t|#whatdoIputinhere?endInitialize函数记录在http://rubydoc.info/github/rspec/rspec-core/RSpec/Core/RakeTask#initialize-instance_method没有很好的记录;它只是说:-(RakeTask)initialize(*args,&task_block)AnewinstanceofRake

  7. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串? - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串?SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复?

  8. ruby - 如何验证 IO.copy_stream 是否成功 - 2

    这里有一个很好的答案解释了如何在Ruby中下载文件而不将其加载到内存中:https://stackoverflow.com/a/29743394/4852737require'open-uri'download=open('http://example.com/image.png')IO.copy_stream(download,'~/image.png')我如何验证下载文件的IO.copy_stream调用是否真的成功——这意味着下载的文件与我打算下载的文件完全相同,而不是下载一半的损坏文件?documentation说IO.copy_stream返回它复制的字节数,但是当我还没有下

  9. ruby - 有人可以帮助解释类创建的 post_initialize 回调吗 (Sandi Metz) - 2

    我正在阅读SandiMetz的POODR,并且遇到了一个我不太了解的编码原则。这是代码:classBicycleattr_reader:size,:chain,:tire_sizedefinitialize(args={})@size=args[:size]||1@chain=args[:chain]||2@tire_size=args[:tire_size]||3post_initialize(args)endendclassMountainBike此代码将为其各自的属性输出1,2,3,4,5。我不明白的是查找方法。当一辆山地自行车被实例化时,因为它没有自己的initialize方法

  10. ruby-on-rails - Ruby 中的内存模型 - 2

    ruby如何管理内存。例如:如果我们在执行过程中采用C程序,则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序

随机推荐