jjzjj

zk系列一：zookeeper基础介绍

木木他爹 2023-04-19 原文

聊完kafka必不可少的需要再聊一聊zk了,下面开始

一、ZK是什么

ZooKeeper是分布式应用程序的高性能协调服务。它可以实现分布式的选主、统一配置管理，命名，分布式节点同步，分布式锁等分布式常用功能；它以path节点的形式保存数据，每个节点都可以存储数据，因为ZK只是分布式的协调者而不推荐做数据库，所以需要减少没必要的写操作，确保对外提供的服务高效、快速，因此其节点的最大容量限制为1M；

1、ZK的节点类型

  • 持久节点 即客户端创建后不会随着客户端的下线而消失，会一直存在；
  • 临时节点 即随着客户端的下线而被删除;这里需要说下的是，zk会给每个客户端创建一个session，且该session是会同步到集群其他节点的；

2、ZK的几个特征

  • 顺序一致性 ===> 即客户端的更新将按发送顺序执行
  • 原子性 ===> 即更新要么成功要么失败，没有中间状态
  • 统一视图 ===> 无论连接到哪个服务器，客户端都将看到相同的服务视图,即集群内各节点对外展示的视图统一不会有偏差
  • 可靠性 ===> 节点更新以后在下次操作它之前，该节点的数据不会发生变更
  • 及时性 ===> 集群对外提供的客户视图保证在特定时间范围内是最新的，可以理解成最终一致性，某个节点发生变化后会在特定时间内同步到集群其他节点，这也呼应了统一视图的特征

3、常用命令

  • create [-s] [-e] path data
    -s 可选，表示创建的是序列节点，会给节点编号，可以在分布式集群环境下保证向同一个节点写入数据的安全性(不被覆盖)
    -e 可选，表示创建的是临时节点
    path 必填，表示期望创建的节点路径
    data 必填，表示期望存储的数据，需要注意的是如果不用存数据该参数也不可缺省，可用""代替
  • get path
    获取path路径下的子节点信息
  • set path data
    设置path下存储的值
  • delete path
    删除path
  • sync path
    获取path下集群一致性达成后的最终数据，即如果请求的是非leader节点需同步向leader请求数据

二、ZK的集群

zk是主从复制集群，一个leader多个follower，只有leader能写，其余节点只提供读功能，但是客户端是可以连接集群中任意节点的，当连接的是leader则直接写，当连接的是follower则会被转发到leader进行写操作；zk集群分为两种状态，一种为leader存活的可用状态，另一种为leader挂了的不可用状态(无主)；当集群处于不可用状态即leader下线时，分为两种情况，一种是剩余存活节点的个数满足过半选举条件，此时会进行选主操作,过半通过即产生新的leader集群恢复成可用状态；另一种是剩余存活节点数不满足过半选举条件，如leader挂了后集群只剩两台机子了，这样会出现脑裂问题，会导致选主失败整个集群仍会处于不可用状态。需要注意的是第二种选主失败集群不可用的情况下，只是集群对外不可用，对应存活实例的进程仍然存在，直到有新的服务上线满足选主条件，从而使集群快速恢复到可用状态；下面通过图示直观展现：

集群间数据同步问题

zk集群由leader负责数据的增改操作，那么leader的数据同步到集群各节点是如何做到数据一致性的呢？zk采用的是最终一致性策略，通过ZAB协议实现，下面介绍ZAB协议

  • ZAB(原子广播协议)
    ZAB是zk特有的一致性协议，并非分布式通用的一致性协议，其基于Paxos演变而来；leader会为每个follower分配一个FIFO的队列，当leader接收到写请求时，会为写入节点分配Zxid,同时将其放入队列；follower按序从队列中取出对应信息向自身的磁盘写日志成功后向leader回一个ack；当leader收到ack的个数大于集群一半时即认为消息确认成功，执行commit操作；并向各follower发起将数据写到内存的操作，至此写入操作完成；
    文字描述太难懂了，于是昨晚画了一个图来展示zk集群内的数据同步过程，如下：

总结：ZAB协议队列和广播以及两阶段提交来实现数据同步。通过队列的FIFO特性以及两阶段提交保证了数据同步的原子性；
通过广播给各个follower集群并且不要求每个follower都同步成功(过半)保证了集群间数据同步的高效性；
leader维护的队列也为最终一致性的策略提供了保证，leader会将所有的写请求都放入队列，follower按顺序消费最终必然会与leader保持数据一致

集群是如何选主的

当leader挂了后，集群中任意节点发现后都会进行选主投票，只要有一个节点触发投票那么集群中每个节点都会被动参与投票，因为集群各节点是互相连通的；zk集群第一次启动谁的ID大谁就是leader，后续集群出了问题重启的话，则谁的数据完整(Zxid大)谁是leader，如果保留的数据一样大则再比较节点自身的myId；

补充
Zxid指的是当前节点的事物id，数值越大表示该节点的数据同步情况越完整；myid指的是在创建zk集群的时候，我们给它配置的值

zookeeper系列leader的liJava

有关zk系列一：zookeeper基础介绍的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  2. ruby-on-rails - 使用一系列等级计算字母等级 - 2

    这里是Ruby新手。完成一些练习后碰壁了。练习:计算一系列成绩的字母等级创建一个方法get_grade来接受测试分数数组。数组中的每个分数应介于0和100之间，其中100是最大分数。计算平均分并将字母等级作为字符串返回，即“A”、“B”、“C”、“D”、“E”或“F”。我一直返回错误:avg.rb:1:syntaxerror,unexpectedtLBRACK,expecting')'defget_grade([100,90,80])^avg.rb:1:syntaxerror,unexpected')',expecting$end这是我目前所拥有的。我想坚持使用下面的方法或.join，

  3. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中，有时候我们需要获取系统的设备信息，用于数据上报和行为分析。那在鸿蒙系统中，我们应该怎么去获取设备的系统信息呢，比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况，一种是设备信息的获取，一种是系统信息的获取。1.1、获取设备信息获取设备信息，鸿蒙的SDK包为我们提供了DeviceInfo类，通过该类的一些静态方法，可以获取设备信息，DeviceInfo类的包路径为：ohos.system.DeviceInfo.具体的方法如下：ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  4. Unity 热更新技术 | （三） Lua语言基本介绍及下载安装 - 2

    ?博客主页：https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创，首发于CSDN??学习专栏推荐：Unity系统学习专栏?游戏制作专栏推荐：游戏制作?Unity实战100例专栏推荐：Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正！?未来很长，值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  5. postman接口测试工具-基础使用教程 - 2

    1.postman介绍Postman一款非常流行的API调试工具。其实，开发人员用的更多。因为测试人员做接口测试会有更多选择，例如Jmeter、soapUI等。不过，对于开发过程中去调试接口，Postman确实足够的简单方便，而且功能强大。2.下载安装官网地址:https://www.postman.com/下载完成后双击安装吧，安装过程极其简单，无需任何操作3.使用教程这里以百度为例,工具使用简单，填写URL地址即可发送请求，在下方查看响应结果和响应状态码常用方法都有支持请求方法:getpostputdeleteGet、Post、Put与Delete的作用get：请求方法一般是用于数据查询，

  6. 软件测试基础 - 2

    Ⅰ软件测试基础一、软件测试基础理论1、软件测试的必要性所有的产品或者服务上线都需要测试2、测试的发展过程3、什么是软件测试找bug，发现缺陷4、测试的定义使用人工或自动的手段来运行或者测试某个系统的过程。目的在于检测它是否满足规定的需求。弄清预期结果和实际结果的差别。5、测试的目的以最小的人力、物力和时间找出软件中潜在的错误和缺陷6、测试的原则28原则：20%的主要功能要重点测（eg：支付宝的支付功能，其他功能都是次要的）80%的错误存在于20%的代码中7、测试标准8、测试的基本要求功能测试性能测试安全性测试兼容性测试易用性测试外观界面测试可靠性测试二、质量模型衡量一个优秀软件的维度①功能性功

  7. 阿里云RDS——产品系列概述 - 2

    基础版云数据库RDS的产品系列包括基础版、高可用版、集群版、三节点企业版，本文介绍基础版实例的相关信息。RDS基础版实例也称为单机版实例，只有单个数据库节点，计算与存储分离，性价比超高。说明RDS基础版实例只有一个数据库节点，没有备节点作为热备份，因此当该节点意外宕机或者执行重启实例、变更配置、版本升级等任务时，会出现较长时间的不可用。如果业务对数据库的可用性要求较高，不建议使用基础版实例，可选择其他系列（如高可用版），部分基础版实例也支持升级为高可用版。基础版与高可用版的对比拓扑图如下所示。优势 性能由于不提供备节点，主节点不会因为实时的数据库复制而产生额外的性能开销，因此基础版的性能相对于

  8. ES基础入门 - 2

    ES一、简介1、ElasticStackES技术栈：ElasticSearch：存数据+搜索；QL；Kibana：Web可视化平台，分析。LogStash：日志收集，Log4j:产生日志；log.info(xxx)。。。。使用场景：metrics：指标监控…2、基本概念Index（索引）动词：保存（插入）名词：类似MySQL数据库，给数据Type（类型）已废弃，以前类似MySQL的表现在用索引对数据分类Document（文档）真正要保存的一个JSON数据{name:"tcx"}二、入门实战{"name":"DESKTOP-1TSVGKG","cluster_name":"elasticsear

  9. ruby - 从结束值创建一系列字符串 - 2

    我使用irb。下面是我写的代码。“斧头”..“bc”我期待"ax""ay""az""ba"bb""bc"但结果只是“斧头”..“bc”我该如何纠正？谢谢。 最佳答案 >puts("ax".."bc").to_aaxayazbabbbc 关于ruby-从结束值创建一系列字符串，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/7617092/

  10. 【网络】-- 网络基础 - 2

    （本文是网络的宏观的概念铺垫）目录计算机网络背景网络发展认识"协议"网络协议初识协议分层OSI七层模型TCP/IP五层(或四层)模型报头以太网碰撞路由器IP地址和MAC地址IP地址与MAC地址总结IP地址MAC地址计算机网络背景网络发展        是最开始先有的计算机，计算机后来因为多项技术的水平升高，逐渐的计算机变的小型化、高效化。后来因为计算机其本身的计算能力比较的快速：独立模式：计算机之间相互独立。    如：有三个人，每个人做的不同的事物，但是是需要协作的完成。    而这三个人所做的事是需要进行协作的，然而刚开始因为每一台计算机之间都是互相独立的。所以前面的人处理完了就需要将数据

随机推荐