说到监控告警平台，大家应该都不会陌生，对于线上系统而言可以说是个标配，各个公司或项目也都会有搭建自己的监控告警平台的实际诉求。当前比较主流的监控告警平台实现方案，很多都是基于Prometheus+Grafana+AlertManager来实现的。但是实际使用的时候会发现不易实施：在运维部署对接方面存在一些不便，接入新的被监控节点时需要到平台部署机器上去修改配置文件、甚至重启服务来生效。配置告警规则等也是基于xml配置，必须要到平台服务器上去添加文件，对于一个各项目通用的平台而言，显然不可能将后端服务地址暴露让各业务负责人员去自行修改服务器上的配置文件。Grafana界面相对单一、可以用于看板或
Alertmanager处理由Prometheus服务器等客户端应用程序发送的告警。负责对它们进行分组、静默、抑制、去重并路由到正确的接收方，例如Email、Wechat、Webhook。Prometheus告警处理逻辑的问题在prometheus告警体系中，在告警策略正常运行时，检测到有新的符合告警规则的信息，就产生告警发送给alertmanager，如果恢复了，也会产生恢复的信息发送给alertmangaer，这是理想的情况。如果在告警过程中有发生告警规则的更新，比如发现告警阈值太低，调整了阈值，那么在prometheus的更新过程中，会丢弃老的评估信息，直接使用新的评估规则再次运行评估，
Alertmanager处理由Prometheus服务器等客户端应用程序发送的告警。负责对它们进行分组、静默、抑制、去重并路由到正确的接收方，例如Email、Wechat、Webhook。Prometheus告警处理逻辑的问题在prometheus告警体系中，在告警策略正常运行时，检测到有新的符合告警规则的信息，就产生告警发送给alertmanager，如果恢复了，也会产生恢复的信息发送给alertmangaer，这是理想的情况。如果在告警过程中有发生告警规则的更新，比如发现告警阈值太低，调整了阈值，那么在prometheus的更新过程中，会丢弃老的评估信息，直接使用新的评估规则再次运行评估，
背景目前的告警通知采用grafana来通知dingding群，这只是grafana的一个功能，所以在灵活性上还是有很多缺陷的，不如专门做告警通知的alertmanager方便grafana告警优点：可以发送趋势图，并且配置上来讲比较方便，直接在监控图里配置即可，比较简单缺点：不能创建一个告警模板应用到一批实例上，意味着我们要每个实例都去配置一下告警，非常麻烦。不能分组,比如：一个集群的多台机器，都挂掉了，那我们可能一下分别收到5，6个告警，这样大量冗余消息，时间长了人可能会有疏忽。告警恢复的消息，不能显示恢复的是哪个机器，只有一个ok和告警名，多个告警下来，具体是哪个恢复了我们也不知道。ale
背景目前的告警通知采用grafana来通知dingding群，这只是grafana的一个功能，所以在灵活性上还是有很多缺陷的，不如专门做告警通知的alertmanager方便grafana告警优点：可以发送趋势图，并且配置上来讲比较方便，直接在监控图里配置即可，比较简单缺点：不能创建一个告警模板应用到一批实例上，意味着我们要每个实例都去配置一下告警，非常麻烦。不能分组,比如：一个集群的多台机器，都挂掉了，那我们可能一下分别收到5，6个告警，这样大量冗余消息，时间长了人可能会有疏忽。告警恢复的消息，不能显示恢复的是哪个机器，只有一个ok和告警名，多个告警下来，具体是哪个恢复了我们也不知道。ale
Prometheus+Grafana+alertmanager+邮件+钉钉告警本文模拟生产环境一ansible部署ansbile部署在线安装yuminstall-yepel-releaseyuminstallansible-y离线安装#离线环境，提前在有网络的服务器上下载好需要的软件包yuminstall-yepel-releasemkdir-p/home/ansibleyuminstallansible-y--downloadonly--downloaddir/home/ansible/安装cd/home/ansible#安装nfsrpm-ivh*.rpm--force--nodeps[ro
Prometheus+Grafana+alertmanager+邮件+钉钉告警本文模拟生产环境一ansible部署ansbile部署在线安装yuminstall-yepel-releaseyuminstallansible-y离线安装#离线环境，提前在有网络的服务器上下载好需要的软件包yuminstall-yepel-releasemkdir-p/home/ansibleyuminstallansible-y--downloadonly--downloaddir/home/ansible/安装cd/home/ansible#安装nfsrpm-ivh*.rpm--force--nodeps[ro
