jjzjj

iphone - 将大量数据从 iPad 转换/上传到 Dropbox

coder 2024-01-12 原文

我正在通过 Instruments 运行它并用大量数据对其施加压力来完成我的应用程序。仪器测试进行得很顺利，但压力测试是我遇到问题的地方。在不涉及太多细节的情况下，我给我的应用增加了 Core Data 的数量。它需要用来推断数据、制作图表和在 MKMapView 上显示位置的事件实例。我开始很小，然后增加到 56000 个事件，它处理得很好，没有任何泄漏或内存警告(我为处理这一切感到非常自豪)。

我的应用实现了 Dropbox API 以允许上传和下载用于同步目的的模板和数据。从我的应用程序上传的文件是从 Core Data 转换而来的到 NSDictionary ，然后到 NSData .我为数据创建了一个临时文件夹，然后将该文件上传到 Dropbox，它正常工作......如果我尝试上传包含 56000 个事件的数据文件，它就会崩溃。我已经记录了它并观察了数据的转换。它顺利到达最后一个事件，但是当它应该开始上传到 Dropbox 时，应用程序崩溃了，我终生无法弄清楚原因。我看到我的日志上弹出内存警告。通常，它会去 Level=1、Level=2、Level=1、Level=2，然后崩溃，这让我很困惑，因为它永远不会达到 Level=3。

我找到的大部分信息都在我在底部的编辑中。下面是一些相关的代码:

- (void)uploadSurveys:(NSDictionary *)dict {
    NSArray *templateArray = [dict objectForKey:@"templates"];
    NSArray *dataArray = [dict objectForKey:@"data"];
    NSString *filename;
    NSLog(@"upload called");
    if ([templateArray count] || [dataArray count]) {
        if ([templateArray count]) {
            // irrelevent code;
        }
        if ([dataArray count]) {
            SurveyData *survey;
            for (int i = 0; i < [dataArray count]; i++) {
                BOOL matchExists = NO;
                // ...... code to make sure no file exists in dropbox folder and creates new version if necessary;

                dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{
                NSData *data = [self convertSurvey:survey];
                dispatch_async(dispatch_get_main_queue(), ^{
                    [self uploadData:data withFilename:filename];
                    NSLog(@"converted and uploading");
                });
            });
        }
    }
}
[self convertSurvey:survey]简单地转换我的 Core Data反对 NSData .
- (void)uploadData:(NSData *)data withFilename:(NSString *)filename {
    NSFileManager *manager = [NSFileManager defaultManager];
    NSString *pathComponent = [NSString stringWithFormat:@"tempData.%@", filename];
    NSString *path = [NSTemporaryDirectory() stringByAppendingPathComponent:pathComponent];
    if ([manager createFileAtPath:path contents:data attributes:nil]) {
        [self.restClient uploadFile:filename toPath:[NSString stringWithFormat:@"/%@", currentSearch] fromPath:path];
        NSLog(@"uploading data");
    }
}

任何帮助都会非常感谢，我在此先感谢您。我只是想弄清楚我是否对大文件采取了错误的方法，或者是否根本不允许这样做。如果我必须拆分文件，那很好，但是在我尝试解决方法之前，我更想知道是什么阻止了我的应用程序执行此操作。再次感谢你。

更新:由于这个问题现在是我的应用程序发布的唯一障碍，我正在向这个问题添加一个悬赏以希望得到解决方案或变通方法。它将持续一周，之后给定的时间，我很可能会在上传文件时将它们分开，以确保不会达到这个明显的大小限制。这种方法并不理想，这就是为什么更好的解决方案很受欢迎的原因，但如果这不能带来更方便的东西，这是我的备用计划。

编辑:看来 NSTemporaryDirectory根本不参与其中。这是新的情况。正如你在上面的代码中看到的，NSData *data = [self convertSurvey:survey];在辅助线程中调用(这不是问题)。我一直在记录创建的对象并知道它们已经到达最后一个，但从未想过检查 NSData文件被退回。事实证明，事实并非如此。简而言之，我将所有 Core Data 对象转换为数组并将它们放入字典中(仅用于要转换的相关调查/数据)。这确实有效，并且创建了字典。然后我创建了一个 NSData文件使用 NSData *data = [NSKeyedArchiver archivedDataWithRootObject:d];哪里d是我的字典。在那之后，我直接调用了return data;设置 NSData *data = [self convertSurvey:survey]; 的值.既然如此，看来NSData或 NSKeyedArchiver错在这里。根据苹果文档:

Using 32-bit Cocoa, the size of the data is subject to a theoretical 2GB limit (in practice, because memory will be used by other objects this limit will be smaller); using 64-bit Cocoa, the size of the data is subject to a theoretical limit of about 8EB (in practice, the limit should not be a factor).



我已经以小增量检查了文件大小，以查看发生故障的位置。我已经成功地通过了 48.2MB 的数据，但不是 51.5MB，这让我相信问题发生在 50MB 左右，远低于 NSData 的理论限制。 (除非 iOS 和 OS X 在这方面存在差异)。

希望这些新信息有助于解决这个问题

最佳答案

NSData 的 2 GB 限制在 iOS 上完全是理论上的，即使 iPhone 4 只有 512 MB 的 RAM 并且 iOS(与 Mac OS X 不同)无法交换，因此如果您的物理 RAM 已满，您将崩溃(或者您的应用程序在此之前被终止)那)。

50 MB NSData对象本身已经非常大，而且它不是您内存中唯一的对象——假设您将数据从 Core Data 转换为字典表示，然后转换为 NSData ，您可能至少消耗两倍的内存(可能更多)。系统和其他应用程序也需要 RAM，因此您可能已达到限制。

尝试在 Instruments 中运行您的应用程序以查看您实际消耗了多少内存。

为了减少峰值内存使用量，您有几个主要取决于您的数据模型的选项:

  • 如 Jason Foreman在他的回答中建议，尽量避免一次将整个文件放入内存中。使用 NSFileHandle ，您可以将数据块写入文件，而无需一次将整个数据保存在内存中。当然，这需要您相应地准备数据，以便将其拆分为多个块。更高级别的方法可能是将您的数据序列化为 XML 格式，您可以将其作为流写出。如果您的数据格式非常简单，CSV 之类的格式也可能适用。
  • 请勿使用 NSData用于上传到 Dropbox。改为将您的数据写入文件(见上文)并将 Dropbox SDK 指向该文件。 Dropbox SDK 可以很容易地做到这一点(DBRestClient 有一个 uploadFile:toPath:fromPath: 方法)。
  • 如果您的数据模型难以采用流式方法，请尝试将数据分割成更易于管理的部分。然后，您可以使用旧的字典序列化方法，只需使用多个文件。
  • 小心 Core Data 的内存使用。尝试使用 refreshObject:mergeChanges: 重新故障对象如果可能的话，打破数据中的循环引用(查看 Core Data Programming Guide 了解详细信息)。
  • 避免在长时间运行的循环中使用自动释放池或创建单独的 NSAutoreleasePool在循环的每次迭代中都会耗尽。

    • 关于iphone - 将大量数据从 iPad 转换/上传到 Dropbox，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/6794194/

    传到DropboxcodeNSData的iphoneobjective-cios

    有关iphone - 将大量数据从 iPad 转换/上传到 Dropbox的更多相关文章

    1. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

      我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

    2. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

      我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

    3. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

      我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

    4. ruby - 将数组的内容转换为 int - 2

      我需要读入一个包含数字列表的文件。此代码读取文件并将其放入二维数组中。现在我需要获取数组中所有数字的平均值，但我需要将数组的内容更改为int。有什么想法可以将to_i方法放在哪里吗？ClassTerraindefinitializefile_name@input=IO.readlines(file_name)#readinfile@size=@input[0].to_i@land=[@size]x=1whilex 最佳答案 只需将数组映射为整数:@land边注如果你想得到一条线的平均值，你可以这样做:values=@input[x]

    5. ruby - 将散列转换为嵌套散列 - 2

      这道题是thisquestion的逆题.给定一个散列，每个键都有一个数组，例如{[:a,:b,:c]=>1,[:a,:b,:d]=>2,[:a,:e]=>3,[:f]=>4,}将其转换为嵌套哈希的最佳方法是什么{:a=>{:b=>{:c=>1,:d=>2},:e=>3,},:f=>4,} 最佳答案 这是一个迭代的解决方案，递归的解决方案留给读者作为练习:defconvert(h={})ret={}h.eachdo|k,v|node=retk[0..-2].each{|x|node[x]||={};node=node[x]}node[

    6. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

      有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

    7. ruby-on-rails - Ruby url 到 html 链接转换 - 2

      我正在使用Rails构建一个简单的聊天应用程序。当用户输入url时，我希望将其输出为html链接(即“url”)。我想知道在Ruby中是否有任何库或众所周知的方法可以做到这一点。如果没有，我有一些不错的正则表达式示例代码可以使用... 最佳答案 查看auto_linkRails提供的辅助方法。这会将所有URL和电子邮件地址变成可点击的链接(htmlanchor标记)。这是文档中的代码示例。auto_link("Gotohttp://www.rubyonrails.organdsayhellotodavid@loudthinking.

    8. ruby-on-rails - 使用 ruby​​ 将多个实例变量转换为散列的更好方法？ - 2

      我收到格式为的回复#我需要将其转换为哈希值(针对活跃商家)。目前我正在遍历变量并执行此操作:response.instance_variables.eachdo|r|my_hash.merge!(r.to_s.delete("@").intern=>response.instance_eval(r.to_s.delete("@")))end这有效，它将生成{:first="charlie",:last=>"kelly"},但它似乎有点hacky和不稳定。有更好的方法吗？编辑:我刚刚意识到我可以使用instance_variable_get作为该等式的第二部分，但这仍然是主要问题。

    9. ruby - 我如何添加二进制数据来遏制 POST - 2

      我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

    10. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

      无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

    随机推荐