IP屬地：廣東
-
自定義分詞器
前言 es能夠?qū)崿F(xiàn)快速的全文搜索，除了依賴其本身倒排索引的思想，還依賴其分詞器 分析器 es本身內(nèi)置了一些常用的分析器(analyzer)，分析...
-
awk與sed命令用法整理
awk awk是一種處理文本文件的語言，在對(duì)數(shù)據(jù)分析并生成報(bào)告時(shí)，表現(xiàn)的十分強(qiáng)大，簡單來說awk就是八人間逐行的讀入,以空格為默認(rèn)分割符將每行切...
-
hive字段級(jí)別血緣實(shí)現(xiàn)
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評(píng)估邏輯變更的影響、快速追溯數(shù)據(jù)來源)，需要構(gòu)建hive字段級(jí)別的數(shù)據(jù)血緣，hive本身提供提供...
-
jvm問題排查寫在前面 線上系統(tǒng)中：如果突然運(yùn)行緩慢，CPU 100%，以及Full GC次數(shù)過多的問題，最終導(dǎo)致的直觀現(xiàn)象就是系統(tǒng)運(yùn)行緩慢。本文主要針對(duì)系統(tǒng)...
-
akka編程demoAKKA akka基于actor模型， 是一個(gè)用于構(gòu)建可擴(kuò)展的彈性的快速響應(yīng)的應(yīng)用程序的平臺(tái)；actor模型：是一個(gè)并行計(jì)算模型。 它把a(bǔ)cto...
-
spark Streaming 背壓實(shí)現(xiàn)（對(duì)接kafka）
本文的介紹以DirectDStream為例進(jìn)行介紹 啟動(dòng)sparkStreaming的背壓 涉及類 RateController: 背壓入口，了...
-
kylin cube優(yōu)化1. 查看相關(guān)統(tǒng)計(jì) 1.1 查看cuboid物化狀態(tài) 命令：./kylin.sh org.apache.kylin.engine.mr.comm...
-
kylin hbase遷移
一、背景 現(xiàn)kylin作為數(shù)據(jù)源提供報(bào)表支撐的場景持續(xù)增多，經(jīng)常出現(xiàn)查詢慢的問題，為提高h(yuǎn)base支撐的穩(wěn)定性，同時(shí)可以應(yīng)對(duì)讀寫組合的情況，考慮...
-
es寫優(yōu)化
es寫入流程 寫入lucene緩存,此時(shí)數(shù)據(jù)不可見,同時(shí)會(huì)寫一份數(shù)據(jù)到translog; 如果此時(shí)寫入成功,會(huì)將寫請(qǐng)求轉(zhuǎn)發(fā)到對(duì)應(yīng)的副分片上. 到...