1 背景 隨著公司業(yè)務(wù)的井噴式發(fā)展，數(shù)倉元數(shù)據(jù)也日益龐大，尤其是存在很多設(shè)計不合理的大分區(qū)表，導(dǎo)致一些元數(shù)據(jù)表（如PARTITIONS，PARTITION_PARAMS等表）...
發(fā)簡信
IP屬地：云南
-
Hive元數(shù)據(jù)升級工具源碼剖析——HiveSchemaTool -
記一次Hive任務(wù)hang住的問題(2)
1 背景 線上Hive任務(wù)偶爾出現(xiàn)hang住的現(xiàn)象.經(jīng)排查確認是觸發(fā)了Hive的bug, 該bug在Hive-10569(https://issues.apache.org/...
-
記一次端口不釋放的問題
1 背景 一臺服務(wù)器的端口數(shù)是有限的資源，如果端口被大量占用則會存在未知的故障。案例：線上HiveServer2發(fā)生故障: 大量任務(wù)hang住, 經(jīng)排查是因為服務(wù)器沒有可用的...
-
記一次Hive任務(wù)hang住的問題(1)
1 問題背景 beeline偶爾出現(xiàn)任務(wù)進程卡住, 長時間等待無響應(yīng)的情況.下面嘗試進行分析及定位代碼位置. 2 分析步驟 2.1 首先定位進程的<pid> 這里我們很明確是...
-
git push 時報 Enter passphrase for /Users/Jeff_R/.ssh/id_rsa: 解決辦法1 背景 原因: 公鑰和私鑰出現(xiàn)錯誤.解決方案: 重新配置公鑰和私鑰. 2 操作步驟 1 根據(jù)郵箱重新生成自己的公鑰和私鑰:下述命令一路回車即可 2 啟動ssh代理 3 修改...
-
基于UGI鑒權(quán)的Hive Metastore Client 并發(fā)訪問方式
定義一個基類: 定義一個并發(fā)測試: 說明: 如果你的hive沒有UGI鑒權(quán),可以忽略或去除UGI鑒權(quán)部分.
-
教你如何新建一個NB的Maven工程通常我們看社區(qū)源碼或者下載社區(qū)代碼安裝后發(fā)現(xiàn)，社區(qū)工程通常有bin、conf、lib等目錄，從而代碼結(jié)構(gòu)十分清晰，如何做到的呢？ 首先，來看看我們平常遇到的痛點。 痛點一：w...
-
Thrift架構(gòu)及源碼解讀1 Thrift基本用法 1.1 搭建thrift編譯環(huán)境 1.1.1 tar包下載 http://www.apache.org/dyn/closer.cgi?path=/t...