基本现状我们是分区分服的游戏,生产环境会有几百上千个游戏服进程,这些进程都想接入prometheus做一些指标监控。优化前的状况是:全局只部署一个pushgateway。每个物理服会部署50个左右的游戏服进程,每个进程定时打印指标到各自的指标log文件。每个物理服部署一个定时脚本,每10秒串行的采集各个指标log,并通过curlpost给pushgateway。prometheus从pushgatewaypull指标。没有直接在游戏服进程中内置exporter的原因大致有:上线之后才考虑加上prometheus监控,不想做太多改动,毕竟还涉及端口暴露之类的问题,需要运维配合修改开服脚本。进程量
1.Prometheus组件总览如上图所示,Prometheus监控系统主要由三部分组成:监控数据采集(上图左)、监控数据存储处理(上图中)、监控数据显示上报(上图右)exporters该工具用于将Prometheus不能识别的指标数据转换为Prometheus能识别的指标数据,它可以将各种应用程序、服务、操作系统等的指标数据暴露为HTTP接口,供PrometheusServer采集。pushgateway该工具用于将短期任务的指标数据推送到PrometheusServer,它允许应用程序主动将监控指标数据推送到pushgateway,而不用等待PrometheusServer的定期采集。no
系列文章第一章:超详细CentOS7安装部署Prometheus及其简单使用(exporter、探针、告警)第二章:超详细Centos7下PrometheusAlertmanager配置钉钉告警与邮箱告警(已亲手验证)第三章(当前):CentOS7中PrometheusPushGateway的使用第四章:Prometheus结合Consul实现自助服务发现第五章:CentOS7中使用Prometheus集成mtail实现错误日志采集扩展:CentOS7中使用PrometheusProcess-exporter监控进程状态扩展:CentOS7中使用Prometheus监控Windows主机文章目
prometheus-pushgateway安装一.Pushgateway简介Pushgateway为Prometheus整体监控方案的功能组件之一,并做于一个独立的工具存在。它主要用于Prometheus无法直接拿到监控指标的场景,如监控源位于防火墙之后,Prometheus无法穿透防火墙;目标服务没有可抓取监控数据的端点等多种情况。在类似场景中,可通过部署Pushgateway的方式解决问题。当部署该组件后,监控源通过主动发送监控数据到Pushgateway,再由Prometheus定时获取信息,实现资源的状态监控。简单图工作流程:a.监控源通过Post方式,发送数据到Pushgatew
FlinkMetrics简介FlinkMetrics是Flink集群运行中的各项指标,包含机器系统指标,比如:CPU、内存、线程、JVM、网络、IO、GC以及任务运行组件(JM、TM、Slot、作业、算子)等相关指标。Flink一共提供了四种监控指标:分别为Counter、Gauge、Histogram、Meter。Flink主动方式共提供了8种Report。使用PrometheusPushGatewayReporter方式通过prometheus+pushgateway+grafana组件搭建FlinkOnYarn可视化监控。当用户使用Flink通过session模式向yarn集群提交一个j
文章目录一、各部分介绍二、安装配置1、安装pushgateway2、安装Prometheus3、Grafana安装三、测试使用一、各部分介绍采集层flinkAPP和linuxsystem两部分,是我们要收集指标数据的组件传输层Pushgateway:是一个推送收集和推送数据的组件Node_exporter:数据导出组件存储计算层Prometheus:系统监控和预警框架应用层Grafana:可视化展示平台二、安装配置1、安装pushgateway#在线下载#离线下载直接访问地址wgetwgethttps://github.com/prometheus/pushgateway/releases/d
目录前言下载安装启动:启动Pushgateway登录Pushgateway安装Prometheus启动Prometheus登录Prometheus查看Pushgateway使用推送单个样本:添加不同组数据:Admin权限重启Pushgateway:Admin删除所有指标:前言我们在使用Prometheus进行监控应用时,常常需要一些设备的指标进行监控,我们常用的方式为一些exporter进行监控。但是一些应用并没有exporter,这时我们就需要使用Pushgateway进行拉取数据,最后推送到Prometheus上。下载安装GitHub下载解压直接运行,pushgateway默认端口9091
参考链接:官方文档中文类官方文档 prometheus官方指南博客一概念Pushgateway是一种中介服务,它允许从无法抓取的作业中推送指标。其为了允许临时和批处理作业向Prometheus公开其指标。由于这些类型的job可能存在的时间不够长而无法被抓取,因此他们可以将指标推送到Pushgateway。然后Pushgateway将这些指标公开给Prometheus。通常,Pushgateway唯一有效的用例是用于捕获服务级批处理作业的结果,“服务级别”批处理作业是与特定机器或作业实例在语义上不相关的作业。此类作业的指标不应包含机器或实例标签,以将特定机器或实例的生命周期与推送的指标分离。这减
参考链接:官方文档中文类官方文档 prometheus官方指南博客一概念Pushgateway是一种中介服务,它允许从无法抓取的作业中推送指标。其为了允许临时和批处理作业向Prometheus公开其指标。由于这些类型的job可能存在的时间不够长而无法被抓取,因此他们可以将指标推送到Pushgateway。然后Pushgateway将这些指标公开给Prometheus。通常,Pushgateway唯一有效的用例是用于捕获服务级批处理作业的结果,“服务级别”批处理作业是与特定机器或作业实例在语义上不相关的作业。此类作业的指标不应包含机器或实例标签,以将特定机器或实例的生命周期与推送的指标分离。这减
我们知道Prometheus采用的pull模式,但是某些网络场景下面(比如不在一个子网或者防火墙),Prometheus无法直接拉取监控指标数据,这个时候我们可能就需要一种能够主动push的模式了。而 Pushgateway 就是Prometheus生态中来解决这个问题的一个工具。但是Pushgateway也不是万能的,其本身也存在一些弊端:将多个节点数据汇总到pushgateway,如果pushgateway挂了,受影响范围更大Prometheus拉取状态up只针对pushgateway,无法做到对每个目标有效由于Pushgateway可以持久化推送给它的所有监控数据,所以即使你的监控已经下