Hive是基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具，可對(duì)存儲(chǔ)在HDFS上的文件中的數(shù)據(jù)集進(jìn)行數(shù)據(jù)整理、特殊查詢和分析處理，提供了類似于SQL語言的查詢語言–HiveQL，可通過HQL語...
IP屬地：山東
-
一定要弄懂的Hive基礎(chǔ)知識(shí)
-
9個(gè)提升逼格的redis命令
keys 我把這個(gè)命令放在第一位，是因?yàn)楣P者曾經(jīng)做過的項(xiàng)目，以及一些朋友的項(xiàng)目，都因?yàn)槭褂胟eys這個(gè)命令，導(dǎo)致出現(xiàn)性能毛刺。這個(gè)命令的時(shí)間復(fù)雜度是O(N)，而且redis又...
-
OMG！又一個(gè)頻繁FullGC案例需求背景 將用戶已安裝APP數(shù)據(jù)從MySQL中遷移到MongoDB中。MySQL中存儲(chǔ)方式比較簡(jiǎn)單，每個(gè)用戶每個(gè)已安裝的APP一行記錄，且數(shù)據(jù)模型對(duì)應(yīng)AppFromMySQL...
-
為什么分庫(kù)分表后不建議跨分片查詢寫在前面：如果對(duì)分庫(kù)分表還不是很熟悉的，可以參考筆者之前的文章《分庫(kù)分表技術(shù)演進(jìn)暨最佳實(shí)踐》。 在這篇文章中提到了一個(gè)場(chǎng)景，即電商的訂單。我們都知道訂單表有三大主要查詢：基于...
-
別看不起分區(qū)表：我要為你點(diǎn)個(gè)贊分區(qū)表帶來的性能提升 我們先基于下面的SQL和存儲(chǔ)過程創(chuàng)建一張分區(qū)表，并插入1億條記錄： 數(shù)據(jù)插入完成后，還給name列加上索引。 接下來分別嘗試有分片鍵查詢，二級(jí)索引（id...
-
elastic-job 源碼解讀之job配置數(shù)據(jù)存儲(chǔ)? elastic-job作業(yè)相關(guān)的數(shù)據(jù)都是配置在zk上的，包括分片參數(shù)，作業(yè)失效轉(zhuǎn)移，運(yùn)行實(shí)例等等都是保存在ZK上的，那具體的zk節(jié)點(diǎn)的樹形結(jié)構(gòu)會(huì)是什么樣子？每一個(gè)節(jié)點(diǎn)...
-
又是一個(gè)程序員粗心的代碼引起頻繁FullGC的案例這是笨神JVMPocket群里一位名為"云何*住"的同學(xué)提出來的問題，問題現(xiàn)象是CPU飆高并且頻繁FullGC。 重現(xiàn)問題 這位同學(xué)的業(yè)務(wù)代碼比較復(fù)雜，為了簡(jiǎn)化業(yè)務(wù)場(chǎng)景，筆者...
-
Spring探秘|妙用BeanPostProcessor
最近，在給項(xiàng)目組使用Spring搭建Java項(xiàng)目基礎(chǔ)框架時(shí)，發(fā)現(xiàn)使用Spring提供的BeanPostProcessor可以很簡(jiǎn)單方便地解決很多看起來有點(diǎn)難解決的問題。本文將...
