有時候有沒有這么一種情況，我拿到了一個sql,csv,parquet文件，一起來就想寫sql，不想寫那些亂七八糟的的東西，只是想快速實現(xiàn)我要的聚合查詢數(shù)據(jù)。那么我們可以利用s...
發(fā)簡信
IP屬地：廣東
-
Spark - SQL查詢文件數(shù)據(jù) -
你們還在用 Scala元組Tuple234..? Outer啦為什么這么說呢，難道我自己多年使用的方式錯了嘛，是的，你沒錯，我錯了，哈哈，主要原因是使用Tuple的時候容易搞錯對象，Tuple2的時候還知道第一個參數(shù)跟第二個參數(shù)的意思，...
-
Elasticsearch - token分析過程有時候我們在使用Es作為搜索分析的時候,得出的結(jié)果并不是我們想要的,這時候我們會查詢一下Es會怎么拆解我們的字符，這里就可以用到Es的_analyze查看一下分解的token...
-
Gradle - 打包上傳Maven倉庫打包步驟 生成gpg密鑰 上傳公鑰到兩臺服務器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...
-
Hbase BulkLoad用法要導入大量數(shù)據(jù)，Hbase的BulkLoad是必不可少的，在導入歷史數(shù)據(jù)的時候，我們一般會選擇使用BulkLoad方式，我們還可以借助Spark的計算能力將數(shù)據(jù)快速地導入。 ...
-
-
Scala - 反射動態(tài)創(chuàng)建方法有時候我們想定義一個字符串的方法，然后通過scala的動態(tài)創(chuàng)建class，然后反射調(diào)用方法，在很多情景下是在學有用的，比較動態(tài)自定義spark的mapParations，當然...
-
Gitlab - 清除commit節(jié)省空間
在gitlab項目中，使用了太久的項目會有很多的提交，項目非常地大，如何清空項目以前的提交呢？又能保證現(xiàn)在文件不受影響，這里提供一個思路及解決方案，就是使用一個新創(chuàng)建的分支來...
-
Java - VisualVM 安裝 plugins Visual GC
在Java VisualVM這款java性能分析及調(diào)優(yōu)工具如何加載插件？比如漂亮的Visual GC，大豬我比較喜歡這款漂亮的姑娘，當然了，如果覺得這是阻止了小伙伴們的進步，...