关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题editingthispost.关闭6年前。Improvethisquestion我想删除elasticsearch索引中超过30天的文档。有什么想法吗？编辑:我希望它自动发生-我的索引中的任何文档都不应超过30天。因此，在我看来有2个选择:使用curator或DELETE请求。我都试过了，但是我失败了。当我使用DELETEhttp语句时，我必须以某种方式创建一个过滤器来过滤所有超过30天的文档并删除它们。我试过馆长，但馆长(据我所知)只删除了整个索引。当试图删除超过30天的索引时，我

文章目录前言一、ELFK是什么？二、搭建步骤1.搭建的机器环境背景2.安装docker3.拉取镜像4.创建自定义网络5.配置启动Elasticsearch6.配置启动Kibana7.配置启动Logstash8.配置启动filebeat（windows）三、Kibana中建立索引进行查看总结前言随着分布式项目的集群部署，日志的存储也分散开来，在日后出现问题进行日志定位时就会出现很困难，服务器很多会做负载均衡，这样最终请求所落在的服务器也随机起来，所以好的方式就是集中收集起来，不需要一台一台服务器去查,方便查看。一、ELFK是什么？ELFK是Elasticsearch+Logstash+Fileb

我正在尝试将日志文件输入Windows机器上的Logstash。我尝试按照http://logstash.net/docs/1.1.13/tutorials/getting-started-simple上的教程进行操作，现在我停留在“继续”部分。这是我的logstash-simple.conf文件的样子:input{stdin{type=>"stdin-type"}file{type=>"syslog"#Wildcardswork,here:)path=>["C:/Results/test.txt"]}}output{stdout{}elasticsearch{embedded=>tr

上次我查看logstash文档说官方的redis输入插件使用“blpop”命令从redis获取消息。(如果我错了，请纠正我。)但是，我们的redis集群不允许命令“blpop”。所以我想知道是否有任何使用“lpop”命令的redis输入插件？还是我必须自己写。谢谢! 最佳答案 没有，所以我编写了自己的logstashredis输入插件版本，使用“lpop”而不是“blpop”(在官方logstashredis输入插件中)here 关于redis-有没有redis输入插件支持“lpop”命

我们的管道:VMware-Netflow->Logstash->Redis->Logstash-indexer->3xElastic我收集的数据:我注意到在kibana中流入的流是1小时前的，然后2，然后是3，依此类推。运行“redis-clillennetflow”显示一个正在缓慢增加的非常大的数字。运行'redis-cliINFO显示80kbps的稳定输入和1kbps的输出。我认为这些应该接近相等。所有节点上的CPU负载都可以忽略不计。我尝试过的:我确保logstash-indexer发送到所有3个弹性节点。我在索引器上启动了许多额外的logstash实例，redis现在显示40个

我有一个正在运行的实时系统，它使用一个redis数据库和一个旧的ELK堆栈。我正在创建一个新版本。我想要的是使用我的新Logstash的输入部分从旧的redis数据库中读取数据，但是在我执行此操作的测试中，我似乎从中耗尽了数据。我不想以任何方式修改当前的logstash或实时管道实现(即向实时logstash配置添加第二个输出)。LIVEData->Redis->Logstash->ES->Kibana|:Readonlycompareoldwithnew|:VVNewLogstash->NewES->NewKibana我觉得我遗漏了一些关于logstash和redis之间关系的东西。

我们使用具有以下配置的Logstash接收日志:input{udp{type=>"logs"port=>12203}}filter{grok{type=>"tracker"pattern=>'%{GREEDYDATA:message}'}date{type=>"tracker"match=>["timestamp","yyyy-MM-ddHH:mm:ss,SSS"]}}output{tcp{type=>"logs"host=>"host"port=>12203}}然后，我们使用以下设置在机器“主机”上获取日志:input{tcp{type=>"logs"port=>12203}}out

当我想发布问题时，显然logstashOnDemand帐户不起作用。无论如何，我有一个带有redis、elasticsearch和kibana的logstash设置。我的logstash正在从几个文件中收集日志并放入redis就好了。Logstash版本1.3.3Elasticsearch版本1.0.1我在用于logstash的elasticsearch_http中唯一拥有的是主机名。所有这些设置似乎都很好地粘合在一起。问题是elasticsearch_http没有消耗redis条目。通过在Debug模式下运行它，我看到它每1分钟刷新大约100个条目(flush_size和idle_f

去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入各个自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。这篇文章主要介绍如何编写二方包，并整合到各个系统中。先介绍整个ELK日志平台的架构。其中xiaobawang-log就是今天的主角。xiaobawang-log主要收集三种日志类型：系统级别日志：收集系统运行时产生的各个级别的日志（ERROR、INFO、WARN、DEBUG和TRACER），其中ERROR级别日志是我们最关心的。用户请求日志：主要用于controller层的请求，捕获用户请求信息

我正在Azure上设置云服务，并希望在Redis中缓冲日志。然而，在Azure上将Redis作为Web服务运行意味着我的请求必须离开我的虚拟网络，这意味着必须进行加密。我已经搜索了几个小时，但没有找到任何线索是否可以通过ssl从redis读取logstash。这根本不可能吗？ 最佳答案 似乎redis无法使用ssl并且azure的redisweb服务似乎带有自定义ssl支持，这似乎是redis输入不支持ssl的原因。但是这个解决方案(stunnel)帮助我解决了我的问题:http://bencane.com/2014/02/18/s