jjzjj

python - 从 GridFS 中清除孤立文件

coder 2023-10-30 原文

我有一个引用 GridFS 文件的集合，通常每条记录有 1-2 个文件。这些集合相当大——父集合中大约有 705k 条记录，以及 790k GridFS 文件。随着时间的推移，出现了许多孤立的 GridFS 文件——父记录被删除，但引用的文件没有。我现在正尝试从 GridFS 集合中清除孤立文件。

像建议的 here 这样的方法的问题是，将 700k 记录组合成一个大的 id 列表会导致内存中大约 4mb 的 Python 列表 - 将其传递到 Mongo 中 fs.files 集合上的 $nin 查询从字面上看永远。反过来(获取 fs.files 中所有 ID 的列表并查询父集合以查看它们是否存在)也需要很长时间。

有没有人反对这个并开发出更快的解决方案？

最佳答案

首先，让我们花点时间考虑一下 GridFS 实际上是。作为初学者，让我们阅读引用的手册页:

GridFS is a specification for storing and retrieving files that exceed the BSON-document size limit of 16MB.

因此，将其排除在外，这很可能就是您的用例。但这里要吸取的教训是GridFS不是自动存储文件的“首选”方法。

在您的案例(和其他案例)中发生的事情是因为这是“驱动程序级别”规范(而 MongoDB 本身在这里没有魔法)，您的"file"已被“拆分”为两个集合。一个集合用于内容的主要引用，另一个集合用于数据“ block ”。

您(和其他人)的问题是，既然“主要”引用已被删除，您已经设法留下了“ block ”。那么在数量众多的情况下，如何摆脱孤儿。

您当前的阅读内容是“循环和比较”，并且由于 MongoDB 不执行连接，因此确实没有其他答案。但有些事情可以提供帮助。

因此与其运行巨大的 $nin，不如尝试做一些不同的事情来打破它。考虑以相反的顺序工作，例如:

db.fs.chunks.aggregate([
    { "$group": { "_id": "$files_id" } },
    { "$limit": 5000 }
])

所以你在那里做的是从所有条目中获取 distinct "files_id"值(作为对 fs.files 的引用)，5000您的条目开始。然后您当然会回到循环，检查 fs.files 是否有匹配的 _id。如果未找到某些内容，则从您的“ block ”中删除与“files_id”匹配的文档。

但那只有 5000，所以保留在该集合中找到的last id，因为现在您将再次运行相同的聚合语句，但有所不同:

db.fs.chunks.aggregate([
    { "$match": { "files_id": { "$gte": last_id } } },
    { "$group": { "_id": "$files_id" } },
    { "$limit": 5000 }
])

所以这有效因为ObjectId 值是monotonic或“不断增加”。所以所有新条目总是大于最后一个。然后您可以再次循环这些值，并在找不到的地方执行相同的删除操作。

这会“永远”吗？好吧是的。您可能雇用db.eval()为此，请阅读文档。但总的来说，这是您使用两个集合所付出的代价。

回到起点。 GridFS spec 是这样设计的，因为它特别想绕过 16MB 的限制。但如果那不是你的限制，那么质疑为什么你正在使用GridFS首先。

MongoDB 在给定 BSON 文档的任何元素中存储“二进制”数据没有问题。所以你不需要使用GridFS只是为了存储文件。如果您这样做了，那么您的所有更新将完全是“原子的”，因为它们只作用于一个集合中的一个文档一次。

自 GridFS 故意将文档拆分到集合中，如果你使用它，那么你就会忍受痛苦。因此，如果您需要就使用它，但如果您不需要，那么只需将BinData存储为普通字段，这些问题就会消失.

但至少你有一个比将所有内容都加载到内存中更好的方法。

关于python - 从 GridFS 中清除孤立文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22574178/

孤立pythonstrongnoreferrercodemongodbmongodb-querygridfs

有关python - 从 GridFS 中清除孤立文件的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  5. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  6. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  7. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  8. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  9. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

  10. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件，并创建一个临时验证的url以发送给同事。(理想情况下，这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针，它似乎不符合这个标准，但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

随机推荐