jjzjj

SpringBoot集成Elasticsearch7.x(4)|(aggregations之分桶聚合查询)

Oak科技 2023-10-09 原文

SpringBoot集成Elasticsearch7.x(4)|(aggregations之分桶聚合查询)


文章目录

章节
第一章链接: SpringBoot集成Elasticsearch7.x(1)|(增删改查功能实现)
第二章链接: SpringBoot集成Elasticsearch7.x(2)|(复杂查询)
第三章链接: SpringBoot集成Elasticsearch7.x(3)|(aggregations之指标聚合查询)
第三章链接: SpringBoot集成Elasticsearch7.x(4)|(aggregations之分桶聚合查询)

前言

本章节主要介绍SpringBoot项目集成ElasticSearch的一些相关知识,主要介绍的是基于Java High Level REST Client方式实现ElasticSearch分桶(Buckets )聚合(aggregations)查询操作以及对应kibana控制台JSON格式访问对照。

一、ElasticSearch中Aggs是什么?

es的aggs可以分为 指标聚合(metrice)、分桶聚合(bucket)、 管道聚合(pipeline),分桶聚合相当于sql的group by 能按照某一个或多个条件,对数据进行分桶(分组),默认返回数据的count(计数)条数,但实际上,可以理解为数据被分桶了,方便后面的聚合或者统计操作。指标聚合就是对分桶或者未分桶的数据进行计算,例如avg求平均值,MAX最大值,min最小值,value count 计数 cardinality 基数 去重 starts 统计聚合等。管道聚合基于聚合结果的查询,分桶有可能是多层的,也有可能和指标是仙桃的,管道聚合可以根据路径(分桶和指标聚合时候的命名路径)对数据进行有针对性的操作,例如排序。

二、分桶聚合查询

1.range范围分桶聚合查询(rang count)

按照价格不同范围进行数量统计

  GET /architecture_index/_search 
  {
    "size": 0, 
    "aggs": {
      "rang_price": {
        "range": {
          "field": "price",
          "ranges": [
            {
              "from": 0,
              "to": 30
            },
            {
              "from": 30,
              "to": 60
            },
            {
              "from": 60,
              "to": 100
            }
          ]
        }
      }
    }
  }

实现代码如下

       /**
     * 统计价格在0-30  30-60  60-100不同阶段的景点数量
     * @throws IOException
     */
    @Test
    public void search1() throws IOException {
        //定义请求对象
        SearchRequest request = new SearchRequest("architecture_index");
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

        //制定检索条件
        RangeAggregationBuilder rangeAggregationBuilder = AggregationBuilders.range("price_range")
                .field("price")
                .addRange(0,30)
                .addRange(30,60)
                .addRange(60,100);

        //组装
        sourceBuilder.aggregation(rangeAggregationBuilder);
        request.source(sourceBuilder);
        //执行
        SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT);

        //打印数据
        Aggregations aggregations = response.getAggregations();
        Aggregation aggregation = aggregations.get("price_range");
        System.out.println(JSON.toJSONString(aggregation));
        //获取桶聚合结果
        List<? extends Range.Bucket> buckets = ((Range) aggregation).getBuckets();
        //循环遍历各个桶结果
        for (Range.Bucket bucket : buckets) {
            //分组的key
            String key = bucket.getKeyAsString();
            //分组的值
            long docCount = bucket.getDocCount();
            System.out.println(key + "------->" + docCount);
        }
    }

2.term自定义分组桶聚合查询

查询每个城市景点数量 总价格 平均价格

GET /architecture_index/_search 
{
  "size": 0, 
  "aggs": {
    "city_group": {
      "terms": {
        "field": "city.keyword"
      },
      "aggs": {
        "sum_price": {
          "sum": {
            "field": "price"
          }
        },
        "avg_price":{
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

实现代码如下

   
/**
     * 查询每个城市景点数量 总价格 平均价格
     * @throws IOException
     */
    @Test
    public void search3() throws IOException {
        //定义请求对象
        SearchRequest request = new SearchRequest("architecture_index");
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        //制定检索条件
        TermsAggregationBuilder termsAggregationBuilder = AggregationBuilders
                .terms("city_group").field("city.keyword")
                .subAggregation(AggregationBuilders.sum("sum_price").field("price"))
                .subAggregation(AggregationBuilders.avg("avg_price").field("price"));


        //组装
        sourceBuilder.query(QueryBuilders.matchAllQuery());
        sourceBuilder.aggregation(termsAggregationBuilder);
        sourceBuilder.size(0);
        request.source(sourceBuilder);
//        System.out.println("dsl:" + sourceBuilder.toString());
        //执行
        SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT);
        listAggregations(response);
    }


    public static void listAggregations(SearchResponse searchResponse) {
        // 处理聚合查询结果
        Aggregations aggregations = searchResponse.getAggregations();
        Terms byShopAggregation = aggregations.get("city_group");

        // 遍历terms聚合结果
        for (Terms.Bucket bucket : byShopAggregation.getBuckets()) {
            String color = bucket.getKeyAsString();
            long colorCount = bucket.getDocCount();
            System.out.print("城市 " + color + "\n数量 : " + colorCount);

            // 根据avg_price聚合名字,获取嵌套聚合结果
            Sum sum = bucket.getAggregations().get("sum_price");
            // 获取平均价格
            double sumPrice = sum.getValue();
            System.out.print(" ; 总价格 : " + sumPrice);

            // 根据avg_price聚合名字,获取嵌套聚合结果
            Avg avg = bucket.getAggregations().get("avg_price");
            // 获取平均价格
            double avgPrice = avg.getValue();
            System.out.println(" ; 平均价格 : " + avgPrice);
        }
    }

结果输出如下

城市 上海
数量 : 5 ; 总价格 : 200.0 ; 平均价格 : 40.0
城市 北京
数量 : 2 ; 总价格 : 130.0 ; 平均价格 : 65.0
城市 厦门
数量 : 1 ; 总价格 : 50.0 ; 平均价格 : 50.0
城市 武汉
数量 : 1 ; 总价格 : 60.0 ; 平均价格 : 60.0

总结

以上就是SpringBoot集成Elasticsearch数据库内容,在验证过程中遇到很多问题,输出的文档都是经过验证可执行的,后续会慢慢更新文章,尽量覆盖全面,如果大家在使用过程中遇到问题欢迎留言。

第一章链接: SpringBoot集成Elasticsearch7.x(1)|(增删改查功能实现)
第二章链接: SpringBoot集成Elasticsearch7.x(2)|(复杂查询)
第三章链接: SpringBoot集成Elasticsearch7.x(3)|(aggregations之指标聚合查询)
第三章链接: SpringBoot集成Elasticsearch7.x(4)|(aggregations之分桶聚合查询)

有关SpringBoot集成Elasticsearch7.x(4)|(aggregations之分桶聚合查询)的更多相关文章

  1. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  2. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

    我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道,是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔?posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

  3. ruby-on-rails - 如何使辅助方法在 Rails 集成测试中可用? - 2

    我在app/helpers/sessions_helper.rb中有一个帮助程序文件,其中包含一个方法my_preference,它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如,这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中,我读到这可以通过在测试文件中包含requiresessions_helper来实现,但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么?require'test_helper'require'sessions_hel

  4. ruby-on-rails - 我如何将 Hoptoad 与 DelayedJob 和 DaemonSpawn 集成? - 2

    我一直很高兴地使用DelayedJob习惯用法:foo.send_later(:bar)这会调用DelayedJob进程中对象foo的方法bar。我一直在使用DaemonSpawn在我的服务器上启动DelayedJob进程。但是...如果foo抛出异常,Hoptoad不会捕获它。这是任何这些包中的错误...还是我需要更改某些配置...或者我是否需要在DS或DJ中插入一些异常处理来调用Hoptoad通知程序?回应下面的第一条评论。classDelayedJobWorker 最佳答案 尝试monkeypatchingDelayed::W

  5. jenkins部署1--jenkins+gitee持续集成 - 2

    前置步骤我们都操作完了,这篇开始介绍jenkins的集成。话不多说,看操作1、登录进入jenkins后会让你选择安装插件,选择第一个默认的就行。安装完成后设置账号密码,重新登录。2、配置JDK和Git都需要执行路径,所以需要先把执行路径找到,先进入服务器的docker容器,2.1JDK的路径root@69eef9ee86cf:/usr/bin#echo$JAVA_HOME/usr/local/openjdk-82.2Git的路径root@69eef9ee86cf:/#whichgit/usr/bin/git3、先配置JDK和Git。点击:ManageJenkins>>GlobalToolCon

  6. sql - 查询忽略时间戳日期的时间范围 - 2

    我正在尝试查询我的Rails数据库(Postgres)中的购买表,我想查询时间范围。例如,我想知道在所有日期的下午2点到3点之间进行了多少次购买。此表中有一个created_at列,但我不知道如何在不搜索特定日期的情况下完成此操作。我试过:Purchases.where("created_atBETWEEN?and?",Time.now-1.hour,Time.now)但这最终只会搜索今天与那些时间的日期。 最佳答案 您需要使用PostgreSQL'sdate_part/extractfunction从created_at中提取小时

  7. ruby-on-rails - solr 清理查询 - 2

    我在Rails上使用带有ruby​​的solr。一切正常,我只需要知道是否有任何现有代码来清理用户输入,比如以?开头的查询。或* 最佳答案 我不知道执行此操作的任何代码,但理论上可以通过查看parsingcodeinLucene来完成并搜索thrownewParseException(只有16个匹配!)。在实践中,我认为您最好只捕获代码中的任何solr异常并显示“无效查询”消息或类似信息。编辑:这里有几个“sanitizer”:http://pivotallabs.com/users/zach/blog/articles/937-s

  8. ruby-on-rails - Rails 3 在一个查询中包含多个表 - 2

    我正在为锦标赛开发一个Rails应用程序。我在这个查询中使用了三个模型:classPlayertruehas_and_belongs_to_many:tournamentsclassTournament:destroyclassPlayerMatch"Player",:foreign_key=>"player_one"belongs_to:player_two,:class_name=>"Player",:foreign_key=>"player_two"在tournaments_controller的显示操作中,我调用以下查询:Tournament.where(:id=>params

  9. ruby-on-rails - Sunspot:如何对具有不同值的多个字段进行全文查询? - 2

    我想用sunspot重现以下原始solr查询q=exact_term_text:fooORterm_textv:foo*ORalternate_text:bar*但我无法通过标准的太阳黑子界面理解这是否可能以及如何实现,因为看起来:fulltext方法似乎不接受多个文本/搜索字段参数我不知道将什么参数作为第一个参数传递给fulltext,就好像我通过了"foo"或"bar"结果不匹配如果我传递一个空参数,我得到一个q=*:*范围过滤器(例如with(:term).starting_with('foo*')(顾名思义)作为过滤器查询应用,因此不参与评分。似乎可以手动编写字符串(或者可能使

  10. ruby-on-rails - 在不重新查询数据库的情况下重新排序 Rails 中的事件记录? - 2

    例如,假设我有一个名为Products的模型,并且在ProductsController中,我有以下代码用于product_listView以显示已排序的产品。@products=Product.order(params[:order_by])让我们想象一下,在product_listView中,用户可以使用下拉菜单按价格、评级、重量等进行排序。数据库中的产品不会经常更改。我很难理解的是,每次用户选择新的order_by过滤器时,rails是否必须查询,或者rails是否能够以某种方式缓存事件记录以在服务器端重新排序?有没有一种方法可以编写它,以便在用户排序时rails不会重新查询结果

随机推荐