最近我一直在研究 MongoDB 的聚合框架，认为它会是解决我一直想解决的问题的好方法。

所以，假设我正在编写讨论板软件并且我有以下帖子的文档结构:

{
  '_id': ObjectId,
  'created_at': datetime,
  'poster_id': ObjectId,
  'discussion_id': ObjectId,
  'body': string
}

我在 posts 集合中存储了以下(简化的)示例文档:

{
  '_id': 1,
  'created_at': '2013-08-18 12:00:00',
  'poster_id':  1,
  'discussion_id':  1,
  'body': 'imma potato'
}

{
  '_id': 2,
  'created_at': '2013-08-18 13:00:00',
  'poster_id':  1,
  'discussion_id':  1,
  'body': 'im still a potato'
}

{
  '_id': 3,
  'created_at': '2013-08-18 14:00:00',
  'poster_id':  2,
  'discussion_id':  1,
  'body': 'you are definitely a potato'
}

{
  '_id': 4,
  'created_at': '2013-08-18 15:00:00',
  'poster_id':  3,
  'discussion_id':  1,
  'body': 'Wait... he is potato?'
}

{
  '_id': 5,
  'created_at': '2013-08-18 16:00:00',
  'poster_id':  2,
  'discussion_id':  1,
  'body': 'Yes! He is potato.'
}

{
  '_id': 6,
  'created_at': '2013-08-18 16:01:00',
  'poster_id':  3,
  'discussion_id':  1,
  'body': 'IF HE IS POTATO... THEN WHO WAS PHONE!?'
}

我想做的是返回一个不同的 poster_id map ，其中最新的帖子 _id 按最新帖子降序排列。所以，最后，根据上面的示例代码，映射看起来非常类似于:

{
  3:6,
  2:5,
  1:2
}

下面是我使用 pymongo 实现的 MongoDB 聚合框架用 Python 编写的方法示例:

def get_posters_with_latest_post_by_discussion_ids(self, discussion_ids, start=None, end=None, skip=None, limit=None, order=-1):
    '''Returns a mapping of poster ids to their latest post associated with
    the given list of discussion_ids. A date range, ordering and paging properties
    can be applied.
    '''
    pipelines = []

    if order:
        pipelines.append({ '$sort': { 'created_at': order } })

    if skip:
        pipelines.append({ '$skip': skip })

    if limit:
        pipelines.append({ '$limit': limit })

    match = {
        'discussion_id': {
            '$in': discussion_ids
        }
    }

    if start and end:
        match['created_at'] = {
            '$gte': start,
            '$lt': end
        }

    pipelines.append({ '$match': match })
    pipelines.append({ '$project': { 'poster_id': '$poster_id' } })
    pipelines.append({ '$group': { '_id': '$poster_id', 'post_id': { '$first': '$_id' } } })

    results = self.db.posts.aggregate(pipelines)

    poster_to_post_map = {}
    for result in results['result']:
        poster_to_post_map[result['_id']] = result['post_id']

    return poster_to_post_map

现在我有了映射，我可以分别查询 posters 和 posts 集合以获取完整文档，然后将它们组合在一起进行显示。

现在，问题不在于它不起作用，它确实……有点。假设我有更多的帖子，我想翻阅海报列表及其最新帖子。如果我的页面限制是“每页 10 张海报”，并且在生成的 10 个文档中存在一张包含 2 个或更多帖子的海报，我实际上在我的 map 中返回的项目少于 10 个。

例如，我有 10 个帖子，1 个海报在初始结果中有 3 个帖子。然后聚合框架将丢弃其他 2 个帖子并将最新的帖子与该用户相关联，从而生成一个包含 8 个条目而不是 10 个条目的映射。

这非常令人沮丧，因为我无法可靠地对结果进行分页。我也无法准确确定我是否在结果的最后一页，因为一组结果可能返回也可能不返回 0 个或多个匹配项。

我在这里做错了什么？

我想要完成的事情非常简单，聚合框架似乎非常适合我的问题。

如果它是传统关系数据库上的存储过程，这就足够简单了，但是当我们转向无模式文档存储时，这就是我们要牺牲的东西；关系在数据库上下文之外进行管理。

无论如何，代码应该很容易理解，我会回答你可能有的任何问题。

无论如何，感谢您花时间阅读。 :)

编辑:已解决

以下是面向 future 观众的解决方案要点:https://gist.github.com/wilhelm-murdoch/6260469

最佳答案

如果您考虑如何描述聚合框架，这实际上是一个非常简单的修复。

取自docs :

Conceptually, documents from a collection pass through an aggregation pipeline, which transforms these objects as they pass through. For those familiar with UNIX-like shells (e.g. bash,) the concept is analogous to the pipe (i.e. |) used to string text filters together.

您之前可能已经读过，但再次解释的原因是您可以以几乎任何顺序将操作传递到该管道中 - 并且不止一次。例如在 MYSQL 中，LIMIT 总是列在查询的末尾，并在所有其他分组函数之后应用于结果集。

在 MongoDB 中，操作按照您将它们添加到管道的顺序运行。所以操作顺序很重要。

看看你上面的代码，看起来你实际上正在获取所有内容 - 并且取决于你的 IF 语句，首先对其进行排序，应用你的偏移量和限制，然后在投影和分组之前匹配该结果集。

所以 - 长话短说 - 看起来您需要重新排序:

pipelines = []

match = {
    'discussion_id': {
        '$in': discussion_ids
    }
}

if start and end:
    match['created_at'] = {
        '$gte': start,
        '$lt': end
    }

pipelines.append({ '$match': match })

if order:
    pipelines.append({ '$sort': { 'created_at': order } })

pipelines.append({ '$project': { 'poster_id': '$poster_id' } })
pipelines.append({ '$group': { '_id': '$poster_id', 'post_id': { '$first': '$_id' } } })

if skip:
    pipelines.append({ '$skip': skip })

if limit:
    pipelines.append({ '$limit': limit })

results = self.db.posts.aggregate(pipelines)

关于python - 使用 MongoDB 聚合框架进行不同的排序和分组，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18296156/