今天是2020年1月26日,自动2019年10月来黑马已经有一段时间了,大数据离线学习也已经学习完成,总结一下离线学习需要搭建的环境。首先是zookeeper,这是学习hadoop的第一个框架,Zookeeper 是一个开源的分布式协调服务框架,主要用来解决分布式集群中应用系统的一致性问题和数据管理问题。Zookeeper具有机器间的心跳检测机制,工作汇报机制以及系统调度的功能,同时,zookeeper在搭建完成启动初期以及运行期间都具有leader选举机制。安装完成zookeeper之后,可以在linux终端使用jps命令对zookeeper的进程进行查看,在设置的主节点上使用jps,如果出现NameNode,DataNode, NodeManager以及 ResourceManager,则可以初步判断zookeeper启动完成。可以在zookeeper根目录下,通过命令bin/zkServer.sh status命令对zookeeper进行查询看是什么主节点或者是从节点,也是确认zookeeper启动成功的关键。Zookeeper安装完成后,可以通过登录Zookeeper客户端对节点进行操作。其命令是bin/zkCli.sh -server node01:2181。主要命令如下:
创建永久节点命令为:create /hello world;创建临时节点命令为:create -e /abc 123;创建永久序列化节点:create -s /zhangsan boy;创建临时序列化节点:create -e -s /lisi boy;修改节点数据:set /hello zookeeper;删除节点, 如果要删除的节点有子Znode则无法删除:delete /hello;删除节点, 如果有子Znode则递归删除:rmr /abc;列出历史记录:histroy。其中每个 znode 都包含了一系列的属性,通过命令 get,可以获得节点的属性,包括数据版本号,子节点版本号等等。除了可以通过命令对zookeeper节点进行操作外,还可以通过java代码对节点进行增删。 |
|