發(fā)簡信
IP屬地：山東
-
java 依賴包沖突，使用maven的Shade方式解決
java 依賴包沖突，使用maven的Shade方式解決 [TOC] 問題描述 程序中同時使用了hadoop工具包與ElasticSearch工具導致jar包。程序報錯： j...
-
Github中java語言中收獲最多star的前十個項目1. CyC2018/CS-Notes star: 59.3k 介紹: 技術(shù)面試必備基礎(chǔ)知識、Leetcode 題解、后端面試、Java 面試、春招、秋招、操作系統(tǒng)、計算機網(wǎng)...
-
Elasticsearch-5.6.0使用repository-hdfs快照（備份）數(shù)據(jù)到hdfs并恢復
背景 Elasticsearch的副本機制提供了可靠性，可以容忍個別節(jié)點丟失而不影響集群的對外服務(wù)，但是并不能提供對災難性故障的保護，所以需要對ES集群數(shù)據(jù)做一個完整的備份，...
-
ES集群狀態(tài)查看命令
Elasticsearch中信息很多，同時ES也有很多信息查看命令，可以幫助開發(fā)者快速查詢Elasticsearch的相關(guān)信息。 1. _cat 2. verbose 每個命...
-
ELK 6.3.2環(huán)境搭建最近把ELK生產(chǎn)環(huán)境從5.6.0升級到了6.3.2，在此記錄一下 基礎(chǔ)環(huán)境： 操作系統(tǒng)：Centos 6.7 64位ELK版本：6.3.2jdk版本：1.8ES用戶：elas...
-
sqoop job省略輸入mysql密碼
sqoop在創(chuàng)建job時，使用--password-file參數(shù)，可以避免輸入mysql密碼，如果使用--password將出現(xiàn)警告，并且每次都要手動輸入密碼才能執(zhí)行job，...
-
sqoop定時增量導入mysql數(shù)據(jù)到hdfs(hive)
需求 有2張大的mysql表，量級分別是1億和4.5億（太大了，DBA的同學正在考慮分表），而且數(shù)據(jù)是增量的，需要寫spark任務(wù)做處理，直接讀取mysql有點吃力，想通過s...
-
Specified key was too long; max key length is 767 bytes。
問題：spark sql連接hive的元數(shù)據(jù)（mysql庫）時報錯：Specified key was too long; max key length is 767 byt...
-
看了之后不再迷糊-Spark多種運行模式早就想寫這章了，一直懶得動筆，不過還好，總算靜下心來完成了。 剛接觸Spark時，很希望能對它的運行方式有個直觀的了解，而Spark同時支持多種運行模式，官網(wǎng)和書籍中對他們的...
-
centos6.5安裝postgresql9.3及數(shù)據(jù)遷移最近來了一批數(shù)據(jù)，其中有一部分是一個從postgresql導出的sql文件，大概有7個多G，需要把數(shù)據(jù)整合到Mysql里邊做進一步處理，網(wǎng)上搜了一些方式好多是要修改這個sql...
-
Spark之thriftserver/beeline的使用
啟動thriftserver: 默認端口是10000 ，可以修改 啟動beelinebeeline -u jdbc:hive2://localhost:10000 -n ha...
-
es設(shè)置max_result_window
es設(shè)置index.max_result_window（就是from+size,默認大小10000），可通過如下方式修改： curl -XPUT 192.168.40.31:...
-
elasticsearch通配符和正則表達式查詢
通配符（wildcard）和正則表達式查詢（regexp），相關(guān)的還有prefix前綴查詢(前綴查詢我們這里用不到，不做過多說明)，他們都是底層基于詞的查詢，注意事基于詞的，...
-
Flume部署及使用Flume是一個分布式的、高可靠的、高可用的用于高效收集、聚合、移動大量日志數(shù)據(jù)的框架（Flume is a distributed, reliable, and avail...
