黑马程序员技术交流社区

标题: 大数据就业12期 [打印本页]

作者: 15607106675 时间: 2020-1-17 12:44
标题: 大数据就业12期
　下面是我近期学习大数据技术的一些笔记，记录每一个阶段自己的学习情况，是作为程序员的一个很好的习惯。
　　hdfs haadmin -failover 手动进行故障转移，在该模式下，即使现役，NameNode 已经失效，系统也不会自动从现役NameNode 转移到待机 NameNode，下面学习如何部署 HA 自动进行故障转移。自动故障转移为 HDFS 部署增加了两个新组件：
　　ZooKeeper 和 ZKFailoverController(ZKFC)进程。ZooKeeper 是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA 的自动故障转移依赖于ZooKeeper 的以下功能：
　　1) 故障检测：集群中的每个 NameNode 在 ZooKeeper 中维护了一个持久会话，如果机器崩溃，ZooKeeper 中的会话将终止，ZooKeeper 通知另一个 NameNode 需要触发故障转移。
　　2) 现役 NameNode 选择：ZooKeeper 提供了一个简单的机制用于唯一的选择一个节点为 active 状态。如果目前现役 NameNode 崩溃，另一个节点可能从 ZooKeeper 获得特殊的排外锁以表明它应该成为现役NameNode。
　　ZKFC 是自动故障转移中的另一个新组件，是 ZooKeeper 的客户端，也监视和管理
　　NameNode 的状态。每个运行 NameNode 的主机也运行了一个 ZKFC 进程，ZKFC 负责：
　　1) 健康监测：ZKFC 使用一个健康检查命令定期地 ping 与之在相同主机的NameNode，只要该 NameNode 及时地回复健康状态，ZKFC 认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。
　　2) ZooKeeper会话管理：当本地 NameNode 是健康的，ZKFC 保持一个在 ZooKeeper中打开的会话。如果本地 NameNode 处于 active 状态，ZKFC 也保持一个特殊的 znode 锁，该锁使用了 ZooKeeper 对短暂节点的支持，如果会话终止，锁节点将自动删除。
　　3) 基于 ZooKeeper的选择：如果本地 NameNode 是健康的，且 ZKFC 发现没有其它的节点当前持有 znode 锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode 为 active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役 NameNode，然后本地 NameNode 转换为 active 状态。
　　路漫漫其修远兮，吾将上下而求索。希望以我的例子借鉴那些尚有理智的朋友，浪子回头，亦可直走巅峰。人生的路很长，此刻放下贪恋，创造你的人生价值，不晚。
　　大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。千锋深圳大数据培训机构郑重承诺，无论是有基础的你选择网络教育培训，还是没有基础的你选择全程面授的线下培训班，只要你来，千锋定会让你满载而归!

作者: 柠檬leung不酸 时间: 2020-3-19 18:54
学习要加，骄傲要减，机会要乘，懒惰要除。诶，激励自己的名言，希望对你有用

作者: 柠檬leung不酸 时间: 2020-3-25 20:22
故天将降大任于斯人也，必先苦其心志，劳其筋骨，饿其体肤，空乏其身，行拂乱其所为，所以动心忍性，曾益其所不能。

作者: 柠檬leung不酸 时间: 2020-4-9 16:45
选择了，便走下去。

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2