章节
第一章链接: SpringBoot集成Elasticsearch7.x(1)|(增删改查功能实现)
第二章链接: SpringBoot集成Elasticsearch7.x(2)|(复杂查询)
第三章链接: SpringBoot集成Elasticsearch7.x(3)|(aggregations之指标聚合查询)
第三章链接: SpringBoot集成Elasticsearch7.x(4)|(aggregations之分桶聚合查询)
本章节主要介绍SpringBoot项目集成ElasticSearch的一些相关知识,主要介绍的是基于Java High Level REST Client方式实现ElasticSearch分桶(Buckets )聚合(aggregations)查询操作以及对应kibana控制台JSON格式访问对照。
es的aggs可以分为 指标聚合(metrice)、分桶聚合(bucket)、 管道聚合(pipeline),分桶聚合相当于sql的group by 能按照某一个或多个条件,对数据进行分桶(分组),默认返回数据的count(计数)条数,但实际上,可以理解为数据被分桶了,方便后面的聚合或者统计操作。指标聚合就是对分桶或者未分桶的数据进行计算,例如avg求平均值,MAX最大值,min最小值,value count 计数 cardinality 基数 去重 starts 统计聚合等。管道聚合基于聚合结果的查询,分桶有可能是多层的,也有可能和指标是仙桃的,管道聚合可以根据路径(分桶和指标聚合时候的命名路径)对数据进行有针对性的操作,例如排序。
按照价格不同范围进行数量统计
GET /architecture_index/_search
{
"size": 0,
"aggs": {
"rang_price": {
"range": {
"field": "price",
"ranges": [
{
"from": 0,
"to": 30
},
{
"from": 30,
"to": 60
},
{
"from": 60,
"to": 100
}
]
}
}
}
}
实现代码如下
/**
* 统计价格在0-30 30-60 60-100不同阶段的景点数量
* @throws IOException
*/
@Test
public void search1() throws IOException {
//定义请求对象
SearchRequest request = new SearchRequest("architecture_index");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
//制定检索条件
RangeAggregationBuilder rangeAggregationBuilder = AggregationBuilders.range("price_range")
.field("price")
.addRange(0,30)
.addRange(30,60)
.addRange(60,100);
//组装
sourceBuilder.aggregation(rangeAggregationBuilder);
request.source(sourceBuilder);
//执行
SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT);
//打印数据
Aggregations aggregations = response.getAggregations();
Aggregation aggregation = aggregations.get("price_range");
System.out.println(JSON.toJSONString(aggregation));
//获取桶聚合结果
List<? extends Range.Bucket> buckets = ((Range) aggregation).getBuckets();
//循环遍历各个桶结果
for (Range.Bucket bucket : buckets) {
//分组的key
String key = bucket.getKeyAsString();
//分组的值
long docCount = bucket.getDocCount();
System.out.println(key + "------->" + docCount);
}
}
查询每个城市景点数量 总价格 平均价格
GET /architecture_index/_search
{
"size": 0,
"aggs": {
"city_group": {
"terms": {
"field": "city.keyword"
},
"aggs": {
"sum_price": {
"sum": {
"field": "price"
}
},
"avg_price":{
"avg": {
"field": "price"
}
}
}
}
}
}
实现代码如下
/**
* 查询每个城市景点数量 总价格 平均价格
* @throws IOException
*/
@Test
public void search3() throws IOException {
//定义请求对象
SearchRequest request = new SearchRequest("architecture_index");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
//制定检索条件
TermsAggregationBuilder termsAggregationBuilder = AggregationBuilders
.terms("city_group").field("city.keyword")
.subAggregation(AggregationBuilders.sum("sum_price").field("price"))
.subAggregation(AggregationBuilders.avg("avg_price").field("price"));
//组装
sourceBuilder.query(QueryBuilders.matchAllQuery());
sourceBuilder.aggregation(termsAggregationBuilder);
sourceBuilder.size(0);
request.source(sourceBuilder);
// System.out.println("dsl:" + sourceBuilder.toString());
//执行
SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT);
listAggregations(response);
}
public static void listAggregations(SearchResponse searchResponse) {
// 处理聚合查询结果
Aggregations aggregations = searchResponse.getAggregations();
Terms byShopAggregation = aggregations.get("city_group");
// 遍历terms聚合结果
for (Terms.Bucket bucket : byShopAggregation.getBuckets()) {
String color = bucket.getKeyAsString();
long colorCount = bucket.getDocCount();
System.out.print("城市 " + color + "\n数量 : " + colorCount);
// 根据avg_price聚合名字,获取嵌套聚合结果
Sum sum = bucket.getAggregations().get("sum_price");
// 获取平均价格
double sumPrice = sum.getValue();
System.out.print(" ; 总价格 : " + sumPrice);
// 根据avg_price聚合名字,获取嵌套聚合结果
Avg avg = bucket.getAggregations().get("avg_price");
// 获取平均价格
double avgPrice = avg.getValue();
System.out.println(" ; 平均价格 : " + avgPrice);
}
}
结果输出如下
城市 上海
数量 : 5 ; 总价格 : 200.0 ; 平均价格 : 40.0
城市 北京
数量 : 2 ; 总价格 : 130.0 ; 平均价格 : 65.0
城市 厦门
数量 : 1 ; 总价格 : 50.0 ; 平均价格 : 50.0
城市 武汉
数量 : 1 ; 总价格 : 60.0 ; 平均价格 : 60.0
以上就是SpringBoot集成Elasticsearch数据库内容,在验证过程中遇到很多问题,输出的文档都是经过验证可执行的,后续会慢慢更新文章,尽量覆盖全面,如果大家在使用过程中遇到问题欢迎留言。
第一章链接: SpringBoot集成Elasticsearch7.x(1)|(增删改查功能实现)
第二章链接: SpringBoot集成Elasticsearch7.x(2)|(复杂查询)
第三章链接: SpringBoot集成Elasticsearch7.x(3)|(aggregations之指标聚合查询)
第三章链接: SpringBoot集成Elasticsearch7.x(4)|(aggregations之分桶聚合查询)
我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.
我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道,是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔?posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr
我在app/helpers/sessions_helper.rb中有一个帮助程序文件,其中包含一个方法my_preference,它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如,这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中,我读到这可以通过在测试文件中包含requiresessions_helper来实现,但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么?require'test_helper'require'sessions_hel
我一直很高兴地使用DelayedJob习惯用法:foo.send_later(:bar)这会调用DelayedJob进程中对象foo的方法bar。我一直在使用DaemonSpawn在我的服务器上启动DelayedJob进程。但是...如果foo抛出异常,Hoptoad不会捕获它。这是任何这些包中的错误...还是我需要更改某些配置...或者我是否需要在DS或DJ中插入一些异常处理来调用Hoptoad通知程序?回应下面的第一条评论。classDelayedJobWorker 最佳答案 尝试monkeypatchingDelayed::W
前置步骤我们都操作完了,这篇开始介绍jenkins的集成。话不多说,看操作1、登录进入jenkins后会让你选择安装插件,选择第一个默认的就行。安装完成后设置账号密码,重新登录。2、配置JDK和Git都需要执行路径,所以需要先把执行路径找到,先进入服务器的docker容器,2.1JDK的路径root@69eef9ee86cf:/usr/bin#echo$JAVA_HOME/usr/local/openjdk-82.2Git的路径root@69eef9ee86cf:/#whichgit/usr/bin/git3、先配置JDK和Git。点击:ManageJenkins>>GlobalToolCon
我正在尝试查询我的Rails数据库(Postgres)中的购买表,我想查询时间范围。例如,我想知道在所有日期的下午2点到3点之间进行了多少次购买。此表中有一个created_at列,但我不知道如何在不搜索特定日期的情况下完成此操作。我试过:Purchases.where("created_atBETWEEN?and?",Time.now-1.hour,Time.now)但这最终只会搜索今天与那些时间的日期。 最佳答案 您需要使用PostgreSQL'sdate_part/extractfunction从created_at中提取小时
我在Rails上使用带有ruby的solr。一切正常,我只需要知道是否有任何现有代码来清理用户输入,比如以?开头的查询。或* 最佳答案 我不知道执行此操作的任何代码,但理论上可以通过查看parsingcodeinLucene来完成并搜索thrownewParseException(只有16个匹配!)。在实践中,我认为您最好只捕获代码中的任何solr异常并显示“无效查询”消息或类似信息。编辑:这里有几个“sanitizer”:http://pivotallabs.com/users/zach/blog/articles/937-s
我正在为锦标赛开发一个Rails应用程序。我在这个查询中使用了三个模型:classPlayertruehas_and_belongs_to_many:tournamentsclassTournament:destroyclassPlayerMatch"Player",:foreign_key=>"player_one"belongs_to:player_two,:class_name=>"Player",:foreign_key=>"player_two"在tournaments_controller的显示操作中,我调用以下查询:Tournament.where(:id=>params
我想用sunspot重现以下原始solr查询q=exact_term_text:fooORterm_textv:foo*ORalternate_text:bar*但我无法通过标准的太阳黑子界面理解这是否可能以及如何实现,因为看起来:fulltext方法似乎不接受多个文本/搜索字段参数我不知道将什么参数作为第一个参数传递给fulltext,就好像我通过了"foo"或"bar"结果不匹配如果我传递一个空参数,我得到一个q=*:*范围过滤器(例如with(:term).starting_with('foo*')(顾名思义)作为过滤器查询应用,因此不参与评分。似乎可以手动编写字符串(或者可能使
例如,假设我有一个名为Products的模型,并且在ProductsController中,我有以下代码用于product_listView以显示已排序的产品。@products=Product.order(params[:order_by])让我们想象一下,在product_listView中,用户可以使用下拉菜单按价格、评级、重量等进行排序。数据库中的产品不会经常更改。我很难理解的是,每次用户选择新的order_by过滤器时,rails是否必须查询,或者rails是否能够以某种方式缓存事件记录以在服务器端重新排序?有没有一种方法可以编写它,以便在用户排序时rails不会重新查询结果