七叶笔记 » golang编程 » How to do – ZooKeeper集群搭建

How to do – ZooKeeper集群搭建

zookeeper 集群介绍

最典型集群模式: Master/Slave 模式(主备模式)。在这种模式中,通常 Master服务器作为主服务器提供写服务,其他的 Slave 服务器从服务器通过异步复制的方式获取 Master 服务器最新的数据提供读服务。

但是,在 ZooKeeper 中没有选择传统的 Master/Slave 概念,而是引入了Leader、Follower 和 observer 三种角色。如下图所示:

ZooKeeper 集群中的所有机器通过一个 Leader 选举过程来选定一台称为 “Leader” 的机器,Leader 既可以为客户端提供写服务又能提供读服务。除了 Leader 外,Follower 和 Observer 都只能提供读服务。Follower 和 Observer 唯一的区别在于 Observer 机器不参与 Leader 的选举过程,也不参与写操作的“过半写成功”策略,因此 Observer 机器可以在不影响写性能的情况下提升集群的读性能。

ZooKeeper集群搭建

为了获得可靠的 ZooKeeper 服务,用户应该在一个集群上部署 ZooKeeper 。只要集群上大多数的ZooKeeper 服务启动了,那么总的 ZooKeeper 服务将是可用的。另外,最好使用奇数台机器, 因为zookeeper集群是以 宕机 个数过半才会让整个集群宕机的。 如果 zookeeper拥有 5 台机器,那么它就能处理 2 台机器的故障了。

【注意】 搭建zookeeper集群时,一定要先停止已经启动的zookeeper节点。

Step1:配置zookeeper

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/etc/zookeeper/data

dataLogDir=/etc/zookeeper/logs

# the port at which the clients will connect

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

maxClientCnxns=60

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

##sc_maintenance

#

# The number of snapshots to retain in dataDir

autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to “0” to disable auto purge feature

autopurge.purgeInterval=1

min session Timeout=2

maxSessionTimeout=20

server .1=192.168.1.127:2888:3888

server.2=192.168.1.128:2888:3888

server.3=192.168.1.139:2888:3888

server.4=192.168.1.130:2888:3888:observer

server.5=192.168.1.131:2888:3888:observer

autopurge配置

客户端在与zookeeper交互过程中会产生非常多的日志,而且zookeeper也会将内存中的数据作为snapshot保存下来,这些数据是不会被自动删除的,这样磁盘中这样的数据就会越来越多。不过可以通过这两个参数来设置,让zookeeper自动删除数据。

autopurge.purgeInterval:指定自动清理快照文件和事务日志文件的时间,单位为h,默认为0表示不自动清理,这个时候可以使用脚本zkCleanup.sh手动清理。如果不清理则磁盘空间占用越来越大。

autopurge.snapRetainCount:用于指定保留快照文件和事务日志文件的个数,默认为3。

不过如果你的集群是一个非常繁忙的集群,然后又碰上这个删除操作,可能会影响zookeeper集群的性能,所以一般会让这个过程在访问低谷的时候进行,但是遗憾的是zookeeper并没有设置在哪个时间点运行的设置,所以有的时候我们会禁用这个自动删除的功能,而做一些其他手段,比如手动或者自动地在凌晨做清理工作。

Server.ID配置

server.id=IP/Host : port1 : port2

id:用来配置ZK集群中的各节点,并建议id的值和myid保持一致,【注意】下文会讲myid的配置。

IP/Host: 服务器的 IP 或者是与 IP 地址做了映射的主机名

port1:Leader和Follower或Observer交换数据使用

port2:用于Leader选举

minSessionTimeout, maxSessionTimeout

一般,客户端连接zookeeper的时候,都会设置一个session timeout,如果超过这个时间client没有与zookeeper server有联系,则这个session会被设置为过期(如果这个session上有临时节点,则会被全部删除,这就是实现集群感知的基础)。但是这个时间不是客户端可以无限制设置的,服务器可以设置这两个参数来限制客户端设置的范围。

Step2: 创建myid文件

上文我们在每个zookeeper服务器的配置文件里配置了这样的信息:

server.1=192.168.1.127:2888:3888

server.2=192.168.1.128:2888:3888

server.3=192.168.1.139:2888:3888

server.4=192.168.1.130:2888:3888:observer

server.5=192.168.1.131:2888:3888:observer

server.id,这个id就是指zookeeper服务器在集群中的编号,我们需要把这个id写入到myid文件中,这个myid值在zookeeper集群中的选举过程中会做一个非常大的作用。比如在192.168.120.78这台机器中首先创建myid文件(dataDir目录,如上配置是/etc/zookeeper/data),然后执行下列操作:

echo “1” > /etc/zookeeper/data/myid

Step3:启动zookeeper服务,并查看状态

首先查看192.168.1.126的zookeeper服务的状态:

root @ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfg

Mode: follower

查看192.168.1.128的zookeeper服务的状态

root@ubuntu:/home/lee/source/zookeeper-3.4.12/bin# ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /home/lee/source/zookeeper-3.4.12/bin/../conf/zoo.cfg

Mode: leader

查看192.168.1.130的zookeeper服务的状态

root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfg

Mode: follower

Step4: 加入观察者节点

具体可以参考:

观察者节点为192.168.1.134,myid为4

第一步,在观察者节点的配置文件中增加以下内容:

peerType=observer

第二步,在其它的节点上修改配置添加

server.4=192.168.1.134:2888:3888:observer

查看状态:

root@ubuntu:/home/lizhiyong/source/zookeeper-3.4.12/bin# ./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /home/lizhiyong/source/zookeeper-3.4.12/bin/../conf/zoo.cfg

Mode: observer

更多c/c++ Linux服务器高阶知识、电子书籍、视频等等请后台私信【架构】获取

知识点有C/C++,Linux,golang技术,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK等等。

相关文章