问题描述因公司目前业务量不大，故把elk部在了虚机上，给予的硬盘空间少的离谱，需一天清一次开测环境的日志，当写完脚本定时执行发现每天的定时任务日志是正常的但是第二天发现索引还在！起初以为是脚本或定时任务的问题，最后发现是索引的生成时间有问题，索引默认的生成时间是凌晨八点；而脚本的定时任务是凌晨四点，肯定是生效了，但是由于还有数据写入就又会生成这个索引；原因分析：因为logstash默认使用的UTC时间，我们现在处于的是东八区CST（CST=UTC+8h），也就是UTC时间是比我们慢8个小时的，当UTC时间到00:00的时候，会触发生成新的索引，这时候我们就已经到了08:00；解决方案：1、索引
我想知道是否有一种方法可以在单个Docker容器上运行具有不同配置的两个logstash进程。我的设置有一个Logstash进程，使用文件作为输入，将事件发送到Redis，然后从那里发送到第二个Logstash进程，然后再发送到自定义http进程。所以，Logstash-->Redis-->Logstash-->Http。希望将两个Logstash实例和Redis保留在同一个Docker容器中。我仍然是Docker的新手，非常感谢任何关于相同的输入/反馈。 最佳答案 这会比需要的更复杂。在Docker世界中，运行三个容器来做三件事比
在谈到MongoDB时，我完全是个新手，但我以前确实有使用Hbase和Accumulo等nosql存储的经验。当我使用这些其他nosql平台时，我最终编写了自己的数据摄取框架(通常在java中)来执行类似ETL的函数，以及内联扩充。我还没有找到与Mongo具有类似功能的工具，但也许我错过了它。到目前为止，我有一个Logstash实例并从多个来源收集日志并将它们作为JSON保存到磁盘。我知道有一个mongodboutputplugin对于Logstash，但它没有任何选项来配置记录的索引方式(即聚合文档等)。根据我的需要，我想为通过Logstash到达的每个事件创建多个聚合文档——这需要
您好，我是新的logstash和mongodb。我不太确定这里是否适合提问，但我真的需要帮助。我也在logstash-usersgooglegroup中发布了同样的问题，但我没有收到任何答案。此外，我浏览了google组的所有帖子，但似乎没有一个解决方案有效。我需要使用mongodb进行输出，所以我运行了以下命令:./plugininstallcontrib之后我运行了这个命令./logstashagent--configlogstash-shipper.conf我的logstash-shipper.conf是input{file{path=>"/var/log/alternative
我需要帮助在logstash中安装MongoDB输入插件和连接MongoDB的配置文件。我在Windows操作系统中使用ElasticSearch-Logstash。IhavetheLogstash-input-MongoDBpluginzipfile.whatarethestepsformanualinstallation. 最佳答案 首先你应该知道logstash没有官方的mongodb输入插件。请看logstash'sofficialpluginlist.我不知道你从哪里得到你的zip文件，但你应该使用logstash'sbu
一、Java的安装卸载虚拟机自带的Javarpm-qa|grep-ijava|xargs-n1rpm-e--nodeps上传java安装包到/export/server/目录下解压java压缩包tar-zxvf/export/server/jdk-17_linux-x64_bin.tar.gz删除安装包rm-rf/export/server/jdk-17_linux-x64_bin.tar.gz重命名文件夹mvjdk-17.0.2/jdk配置环境变量vim/etc/profile#Java_PathexportJAVA_HOME=/export/server/jdkexportPATH=$PA
文章目录logstash输出es模块配置命令logstash输出es模块logstash一共有input，filter，output三个模块配置conf示例input{jdbc{jdbc_connection_string=>"jdbc:mysql:/XXXjdbc_user=>"XXX"jdbc_password=>"XXX"jdbc_driver_library=>"/data/logstash-7.1.1/logstash-core/lib/jars/mysql-connector-java-8.0.19.jar"jdbc_driver_class=>"com.mysql.cj.jdbc
一、场景测试环境中频繁操作产生日志例如打印刻录日志会比较浪费时间，想到将日志保存到本地文件汇总，然后使用logstash将本地文件作为input输入，即可在不实际操作的情况下对日志进行格式分析二、解决方案先将产生的日志保存到本地文件中，这里为了测试我使用的是stdin输入插件获取内容；使用file输出插件保存日志到本地文件input{stdin{}}output{file{ path=>"/export/server/logstash-8.1.2/test.txt" #这句的作用是将文件作为json格式保存 codec=>"json" }}2.本地获取到日志之后再次启动logstash，使用f
我知道我们可以输入文件，然后输出到mongo数据库。但是我的mongodb中有一个集合，我想将其作为输入，以便我可以将其与ES一起使用。这可能吗？谢谢。 最佳答案 我也遇到过类似的问题，logstash-input-mongodb插件很好，但是功能很有限，好像也不再维护了，所以，我选择了logstash-integration-jdbc插件。我按照以下步骤将MongoDB集合与ES同步:首先，我下载了DBSchema开发的MongoDB的JDBC驱动，你可以找到here.我已经准备了一个自定义Dockerfile来集成驱动程序和插件
一：概述Elasticsearch：是一个开源的高扩展的分布式全文搜索引擎，它可以近乎实时的存储，然后检索数据，延迟很小。Logstash:实现将mysql或其他数据库的数据定时采集到Elasticsearch里。ElasticHD：Elasticsearch的可视化工具，可以在界面条件查询查询Elasticsearch里的数据。二：Elasticsearch安装部署注意：因为ES是java开发的，所以需要安装jdk，安装完之后要配置环境变量，这个就不再赘述了，不会的可以从网上搜索怎么配置1.下载elasticsearch安装包（也可以自己去es官网下载）: elasticsearch-7.
