黑马程序员技术交流社区

标题: 【上海校区】读者来信 | 如果你家HBase集群Region太多请点进... [打印本页]

作者: 梦缠绕的时候 时间: 2020-4-8 10:37
标题: 【上海校区】读者来信 | 如果你家HBase集群Region太多请点进...
小猿提问

在重启HBase集群的过程中，RS节点全部启动成功了，但是HMaser一直启动不起来，错误日志如下：

unexpected error, closing socket connection and attempting reconnectjava.io.IOException: Packet len4745468 is out of range! at org.apache.zookeeper.ClientCnxnSocket.readLength(ClientCnxnSocket.java:112) at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:79) at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:366) at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081)2020-04-02 22:31:08,673 ERROR [hadoop01:16000.activeMasterManager] zookeeper.RecoverableZooKeeper: ZooKeeper getChildren failed after 4 attempts2020-04-02 22:31:08,674 FATAL [hadoop01:16000.activeMasterManager] master.HMaster: Failed to become active masterorg.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/region-in-transition at org.apache.zookeeper.KeeperException.create(KeeperException.java:99) at org.apache.zookeeper.KeeperException.create(KeeperException.java:51) at org.apache.zookeeper.ZooKeeper.getChildren(ZooKeeper.java:1472) at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.getChildren(RecoverableZooKeeper.java:295) at org.apache.hadoop.hbase.zookeeper.ZKUtil.listChildrenNoWatch(ZKUtil.java:513) at org.apache.hadoop.hbase.master.AssignmentManager.processDeadServersAndRegionsInTransition(AssignmentManager.java:519) at org.apache.hadoop.hbase.master.AssignmentManager.joinCluster(AssignmentManager.java:494) at org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:748) at org.apache.hadoop.hbase.master.HMaster.access$500(HMaster.java:184) at org.apache.hadoop.hbase.master.HMaster$1.run(HMaster.java:1729) at java.lang.Thread.run(Thread.java:748)小猿分析

HBase 版本：Apache 1.2.1
集群规模：120000+ region

看错误日志，好像只看到了ZK的身影，日志关键词是[ZooKeeper.getChildren|Packet|out of range|ConnectionLoss for /hbase/region-in-transition]。
我们知道，HBase Master 重启时要做很多初始化工作，要与ZK数据节点进行一些交互工作，如元数据或节点状态的注册、修改、获取等等。看这些关键词大概好像明白是怎么回事：ZooKeeper在getChildren（region-in-transition）的时候超出了Packet的range，导致连接丢失了，Failed to become active master。

那什么是Packet呢？小猿问了问度娘，度娘回答说：

在 ZooKeeper 中，Packet 是一个最小的通信协议单元，即数据包。Pakcet 用于进行客户端与服务端之间的网络传输，任何需要传输的对象都需要包装成一个 Packet 对象。

那就是读取zk节点数据包长度有限制咯，这个时候我们肯定是先去网上找下zk有没有相关的参数可以调一下。结果还真的有：jute.maxbuffer，感觉自己很幸运。套用官网的话解释一下这个参数：

(Java system property: jute.maxbuffer)
This option can only be set as a Java system property. There is no zookeeper prefix on it. It specifies the maximum size of the data that can be stored in a znode. The default is 0xfffff, or just under 1M. If this option is changed, the system property must be set on all servers and clients otherwise problems will arise. This is really a sanity check. ZooKeeper is designed to store data on the order of kilobytes in size.

翻译一下：

（Java系统属性：jute.maxbuffer）
此选项只能设置为Java系统属性。上面没有Zookeeper前缀。它指定可以存储在znode中的数据的最大大小。默认值为0xfffff，或不到1M。如果更改此选项，则必须在所有服务器和客户端上设置系统属性，否则会出现问题。这确实是一个健全性检查。ZooKeeper旨在存储大小为千字节的数据。

也有另一种说法：

需要注意的是，该参数并不是在 Server 和 Client 端同时设置才会生效。实际情况是，在客户端设置后，Zookeeper 将控制从 Server 端读取数据的大小（outgoingBuffer）；而在服务端设置后，则是控制从 Client 端写入数据的大小（incomingBuffer）