有時候有沒有這么一種情況,我拿到了一個sql,csv,parquet文件,一起來就想寫sql,不想寫那些亂七八糟的的東西,只是想快速實現(xiàn)我要的聚合查詢數(shù)據(jù)。那么我們可以利用s...
有時候有沒有這么一種情況,我拿到了一個sql,csv,parquet文件,一起來就想寫sql,不想寫那些亂七八糟的的東西,只是想快速實現(xiàn)我要的聚合查詢數(shù)據(jù)。那么我們可以利用s...
為什么這么說呢,難道我自己多年使用的方式錯了嘛,是的,你沒錯,我錯了,哈哈,主要原因是使用Tuple的時候容易搞錯對象,Tuple2的時候還知道第一個參數(shù)跟第二個參數(shù)的意思,...
有時候我們在使用Es作為搜索分析的時候,得出的結(jié)果并不是我們想要的,這時候我們會查詢一下Es會怎么拆解我們的字符,這里就可以用到Es的_analyze查看一下分解的token...
打包步驟 生成gpg密鑰 上傳公鑰到兩臺服務(wù)器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...
要導(dǎo)入大量數(shù)據(jù),Hbase的BulkLoad是必不可少的,在導(dǎo)入歷史數(shù)據(jù)的時候,我們一般會選擇使用BulkLoad方式,我們還可以借助Spark的計算能力將數(shù)據(jù)快速地導(dǎo)入。 ...
有時候我們想定義一個字符串的方法,然后通過scala的動態(tài)創(chuàng)建class,然后反射調(diào)用方法,在很多情景下是在學(xué)有用的,比較動態(tài)自定義spark的mapParations,當(dāng)然...
在gitlab項目中,使用了太久的項目會有很多的提交,項目非常地大,如何清空項目以前的提交呢?又能保證現(xiàn)在文件不受影響,這里提供一個思路及解決方案,就是使用一個新創(chuàng)建的分支來...
在Java VisualVM這款java性能分析及調(diào)優(yōu)工具如何加載插件?比如漂亮的Visual GC,大豬我比較喜歡這款漂亮的姑娘,當(dāng)然了,如果覺得這是阻止了小伙伴們的進步,...
新鮮文章,昨天剛經(jīng)過線上驗證過的,使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來,花了半個小時,性能還是穩(wěn)穩(wěn)的,好了不吹牛皮了,直接上代碼吧。 MR 考查了Hbase的各種MR,沒有發(fā)現(xiàn)哪一...
今天分享一個超有意思的東西 Selenium 自動化測試/調(diào)式工具。 Selenium 就像真實用戶所做的一樣,Selenium 測試可以在 Windows、Linux 和 ...
有時候我們在使用Es作為搜索分析的時候,得出的結(jié)果并不是我們想要的,這時候我們會查詢一下Es會怎么拆解我們的字符,這里就可以用到Es的_analyze查看一下分解的token...
打包步驟 生成gpg密鑰 上傳公鑰到兩臺服務(wù)器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...
HDFS_DELEGATION_TOKEN 這個BUG在很多文章中都出現(xiàn)著,講了很多原理,但是只給出了官方引用地扯,完全沒有給出如何解決,我們線上的業(yè)務(wù)就有著這樣的問題,7天...
使用 依賴 定義消息協(xié)議 定義常量 服務(wù)器 節(jié)點 啟動 MyResourceManager 啟動 MyNodeManager
有時候我們在使用Es作為搜索分析的時候,得出的結(jié)果并不是我們想要的,這時候我們會查詢一下Es會怎么拆解我們的字符,這里就可以用到Es的_analyze查看一下分解的token...