轉(zhuǎn)自 集群 zk 連接數(shù)過(guò)多問(wèn)題排查
【大數(shù)據(jù)】集群 zk 連接數(shù)過(guò)多問(wèn)題排查
背景:
周末接受到信總報(bào)警,說(shuō)我們查詢(xún) hbase 的服務(wù)日志爆了,回頭看應(yīng)用日志,發(fā)現(xiàn)一直在報(bào) zk 的連接問(wèn)題

image
到集群上看了下 801 主機(jī) zk 連接數(shù)量居然達(dá)到了 2040,查看下 zk 的 maximum client connect 配置為 2000
超過(guò)了最大連接數(shù),自然會(huì)報(bào)錯(cuò)。

image
登陸應(yīng)用主機(jī),輸入
netstat -an | grep -I 2181
檢查和 zk 的連接
發(fā)現(xiàn)確實(shí)上千
思考了一下查詢(xún) hbase 什么時(shí)候會(huì)和 zk 建立連接?
每次建立 Hbase 連接的時(shí)候會(huì)去建立 zk 的連接,Hbase 連接應(yīng)該是單例的類(lèi),檢查代碼發(fā)現(xiàn)

image
Connection 為方法參數(shù),這樣勢(shì)必會(huì)造成 connection 每次創(chuàng)建完不釋放的問(wèn)題
改為靜態(tài)變量問(wèn)題解決:

image