黑马程序员技术交流社区

标题: 【上海校区】---zookeeper-- [打印本页]

---

作者: xiaozuoquan    时间: 2019-8-15 16:42
标题: 【上海校区】---zookeeper--


5.1:三台虚拟机关闭防火墙

三台机器执行以下命令（root用户来执行）

[AppleScript] 纯文本查看 复制代码

service iptables stop   #关闭防火墙

chkconfig iptables off  #禁止开机启动

5.2三台机器关闭selinux

• 什么是SELinux
  
  
  • SELinux是Linux的一种安全子系统
  • Linux中的权限管理是针对于文件的, 而不是针对进程的, 也就是说, 如果root启动了某个进程, 则这个进程可以操作任何一个文件
  • SELinux在Linux的文件权限之外, 增加了对进程的限制, 进程只能在进程允许的范围内操作资源
    
    
• 为什么要关闭SELinux
  
  
  • 如果开启了SELinux, 需要做非常复杂的配置, 才能正常使用系统, 在学习阶段, 在非生产环境, 一般不使用SELinux
    
    
• SELinux的工作模式
  
  
  • enforcing 强制模式
  • permissive 宽容模式
  • disable 关闭
    
    
  
  

# 修改selinux的配置文件

[AppleScript] 纯文本查看 复制代码

vi /etc/selinux/config

5.3 三台机器机器免密码登录

• 为什么要免密登录
  
  
  • Hadoop 节点众多, 所以一般在主节点启动从节点, 这个时候就需要程序自动在主节点登录到从节点中, 如果不能免密就每次都要输入密码, 非常麻烦
    
    
• 免密 SSH 登录的原理
  
  
  • 需要先在 B节点 配置 A节点 的公钥
  • A节点 请求 B节点 要求登录
  • B节点 使用 A节点 的公钥, 加密一段随机文本
  • A节点 使用私钥解密, 并发回给 B节点
  • B节点 验证文本是否正确
    
    
  
  

第一步：三台机器生成公钥与私钥

在三台机器执行以下命令，生成公钥与私钥

[AppleScript] 纯文本查看 复制代码

ssh-keygen -t rsa

执行该命令之后，按下三个回车即可

第二步：拷贝公钥到同一台机器

三台机器将拷贝公钥到第一台机器

三台机器执行命令：

[AppleScript] 纯文本查看 复制代码

ssh-copy-id node01

第三步:复制第一台机器的认证到其他机器

将第一台机器的公钥拷贝到其他机器上

在第一天机器上面指向以下命令

[AppleScript] 纯文本查看 复制代码

scp /root/.ssh/authorized_keys node02:/root/.ssh

scp /root/.ssh/authorized_keys node03:/root/.ssh

5.4三台机器时钟同步

• 为什么需要时间同步
  
  
  • 因为很多分布式系统是有状态的, 比如说存储一个数据, A节点 记录的时间是 1, B节点 记录的时间是 2, 就会出问题
    
    
  
  

## 安装

[AppleScript] 纯文本查看 复制代码

yum install -y ntp

​
## 启动定时任务

[AppleScript] 纯文本查看 复制代码

crontab -e

随后在输入界面键入

[AppleScript] 纯文本查看 复制代码

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

6:装辅助软件

6.1 每台主机安装jdk

查看自带的openjdk

[AppleScript] 纯文本查看 复制代码

rpm -qa | grep java

卸载系统自带的openjdk

[AppleScript] 纯文本查看 复制代码

rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps

上传jdk并解压然后配置环境变量

所有软件的安装路径

[AppleScript] 纯文本查看 复制代码

mkdir -p /export/servers

所有软件压缩包的存放路径

[AppleScript] 纯文本查看 复制代码

mkdir -p /export/softwares

上传jdk到/export/softwares路径下去，并解压

[AppleScript] 纯文本查看 复制代码

tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/

配置环境变量

[AppleScript] 纯文本查看 复制代码

vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_141

export PATH=:$JAVA_HOME/bin:$PATH

修改完成之后记得  source /etc/profile生效

7:Zookeeper

7.1 Zookeeper 的概述

• Zookeeper 是一个开源的分布式协调服务框架 ,主要用来解决分布式集群中 应用系统的一致性问题
• Zookeeper 是 Google Chubby 思想的一个开源实现
• Zookeeper 本质上是一个分布式文件系统, 适合存放小文件, 通过文件系统来实现分布式协调
  
  

分布式文件系统?

• 在上图左侧, Zookeeper 中存储的其实是一个又一个 Znode, Znode 是 Zookeeper 中的节点
  
  
  • Znode 是有路径的, 例如 /data/host1, /data/host2, 这个路径也可以理解为是 Znode 的 Name
  • Znode 也可以携带数据, 例如说某个 Znode 的路径是 /data/host1, 其值是一个字符串 "192.168.0.1"
    
    
• 正因为 Znode 的特性, 所以 Zookeeper 可以对外提供出一个类似于文件系统的试图, 可以通过操作文件系统的方式操作 Zookeeper
  
  
  • 使用路径获取 Znode
  • 获取 Znode 携带的数据
  • 修改 Znode 携带的数据
  • 删除 Znode
  • 添加 Znode
  • 等等...
    
    
  
  

Zookeeper 是分布式的

首先呢, Zookeeper 是分为服务端和客户端的, 客户端有 Java 的客户端, 有 Shell 命令行的客户端等, 客户端通过一个类似于文件系统的 API 来访问 Zookeeper 集群

但是事实上, 客户端最终是直接访问 Zookeeper 集群, 集群中有两大类角色, 一类是 Leader, 一类是 Follower, 其实就是主从, Leader 负责读和写, Follower 只能读, 遇到会产生修改的请求会转发给 Leader 处理, 这是因为 Zookeeper 本质上就是为了在分布式环境中对消息的一致性的支持, 而 Zookeeper 所基于的 ZAB 协议是 Paxos 协议的一个变种, ZAB 协议中是有一个全局的事务生成者, 就是 Leader, 修改设计到在分布式环境下对事务达成一致, 必须由 Leader 发起

举个例子?

比如说一个常见的分布式主从系统, 如果有 ZK 在的话, 主节点不需要和每个从节点保持连接, 只需要监听从节点创建的 Znode, 便可以知道谁在线

Zookeeper 能做什么?

• 发布订阅
• 命名服务
• 分布式锁
• 分布式协调
  
  

7.2 Zookeeper安装[td]

服务器IP	主机名	myid的值
192.168.174.100	node01	1
192.168.174.110	node02	2
192.168.174.120	node03	3

第一步：下载zookeeeper的压缩包，下载网址如下

http://archive.apache.org/dist/zookeeper/

我们在这个网址下载我们使用的zk版本为3.4.9

下载完成之后，上传到我们的linux的/export/softwares路径下准备进行安装

第二步：解压

解压zookeeper的压缩包到/export/servers路径下去，然后准备进行安装

[AppleScript] 纯文本查看 复制代码

cd /export/software

​

tar -zxvf zookeeper-3.4.9.tar.gz -C ../servers/

第三步：修改配置文件

第一台机器修改配置文件

[AppleScript] 纯文本查看 复制代码

cd /export/servers/zookeeper-3.4.9/conf/

​

cp zoo_sample.cfg zoo.cfg

​

mkdir -p /export/servers/zookeeper-3.4.9/zkdatas/

vim  zoo.cfg

dataDir=/export/servers/zookeeper-3.4.9/zkdatas

# 保留多少个快照

autopurge.snapRetainCount=3

# 日志多少小时清理一次

autopurge.purgeInterval=1

# 集群中服务器地址

server.1=node01:2888:3888

server.2=node02:2888:3888

server.3=node03:2888:3888

第四步：添加myid配置

在第一台机器的

/export/servers/zookeeper-3.4.9/zkdatas /这个路径下创建一个文件，文件名为myid ,文件内容为1

[AppleScript] 纯文本查看 复制代码

echo 1 > /export/servers/zookeeper-3.4.9/zkdatas/myid 

第五步：安装包分发并修改myid的值

安装包分发到其他机器

第一台机器上面执行以下两个命令

[AppleScript] 纯文本查看 复制代码

scp -r  /export/servers/zookeeper-3.4.9/ node02:/export/servers/



scp -r  /export/servers/zookeeper-3.4.9/ node03:/export/servers/

第二台机器上修改myid的值为2

[AppleScript] 纯文本查看 复制代码

echo 2 > /export/servers/zookeeper-3.4.9/zkdatas/myid

第三台机器上修改myid的值为3

[AppleScript] 纯文本查看 复制代码

echo 3 > /export/servers/zookeeper-3.4.9/zkdatas/myid

第六步：三台机器启动zookeeper服务

三台机器启动zookeeper服务

这个命令三台机器都要执行

[AppleScript] 纯文本查看 复制代码

/export/servers/zookeeper-3.4.9/bin/zkServer.sh start

查看启动状态

[AppleScript] 纯文本查看 复制代码

/export/servers/zookeeper-3.4.9/bin/zkServer.sh  status

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2