前言 es能夠?qū)崿F(xiàn)快速的全文搜索，除了依賴其本身倒排索引的思想，還依賴其分詞器 分析器 es本身內(nèi)置了一些常用的分析器(analyzer)，分析器由三種構(gòu)建組成:charac...
IP屬地：廣東
-
awk與sed命令用法整理
awk awk是一種處理文本文件的語言，在對數(shù)據(jù)分析并生成報告時，表現(xiàn)的十分強大，簡單來說awk就是八人間逐行的讀入,以空格為默認分割符將每行切片，切開的部分再進行各種分析梳...
-
hive字段級別血緣實現(xiàn)
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評估邏輯變更的影響、快速追溯數(shù)據(jù)來源)，需要構(gòu)建hive字段級別的數(shù)據(jù)血緣，hive本身提供提供了一個用于打印數(shù)據(jù)血緣的鉤子類...
-
-
akka編程demoAKKA akka基于actor模型， 是一個用于構(gòu)建可擴展的彈性的快速響應的應用程序的平臺；actor模型：是一個并行計算模型。 它把actor作為基本元素來對待：未響應一...
-
spark Streaming 背壓實現(xiàn)（對接kafka）
本文的介紹以DirectDStream為例進行介紹 啟動sparkStreaming的背壓 涉及類 RateController: 背壓入口，了實現(xiàn)StreamingList...
-
kylin cube優(yōu)化1. 查看相關統(tǒng)計 1.1 查看cuboid物化狀態(tài) 命令：./kylin.sh org.apache.kylin.engine.mr.common.CubeStatsRea...
-
kylin hbase遷移
一、背景 現(xiàn)kylin作為數(shù)據(jù)源提供報表支撐的場景持續(xù)增多，經(jīng)常出現(xiàn)查詢慢的問題，為提高hbase支撐的穩(wěn)定性，同時可以應對讀寫組合的情況，考慮一種方案即kylin的讀寫分離...
-
es寫優(yōu)化
es寫入流程 寫入lucene緩存,此時數(shù)據(jù)不可見,同時會寫一份數(shù)據(jù)到translog; 如果此時寫入成功,會將寫請求轉(zhuǎn)發(fā)到對應的副分片上. 到達一定時間,或內(nèi)存中的數(shù)據(jù)達到...
-
es讀優(yōu)化es搜索數(shù)據(jù) es搜索數(shù)據(jù)流程 es讀寫流程示意圖 分布式搜索示意圖image.png es的幾種搜索類型 QUERY_THEN_FETCH(默認的方式) QUERY_AND...
-
-
Hive是怎么轉(zhuǎn)化hql為mr程序的hive是怎么轉(zhuǎn)化hql為MR程序的？ 總的來說，Hive是通過給用戶提供的一系列交互接口，接收到用戶的指令(SQL)，使用自己的Driver，結(jié)合元數(shù)據(jù)(MetaStore...
-
HiveServer2、metaStore以及HiveThriftServer2究竟都是什么？HiveServer2和metaStore hiveServer2和metaStore其實都是hive本身帶的組件，那么兩者究竟有什么不同呢？ metaStore：hive的...
-
Spark HiveThriftServer2 高可用的實現(xiàn)
Spark HiveThriftServer高可用的問題 spark HiveThriftServer 繼承了HiveServer2,但是卻沒有繼承HiveServer2的H...
-
Spark性能優(yōu)化總結(jié)總結(jié)一下個人看了一些Spark性能調(diào)優(yōu)文章之后的理解，主要框架來自于meituantech，會在此框架上加入個人關注點，目錄如下， Overview Spark的瓶頸一般來自...
-
誠招管理員！聯(lián)系我~ 本專題專注于大數(shù)據(jù)技術，包括但不限于：分布式系統(tǒng)，hadoop，spark，storm，mesos，hbase，zookeeper。。。 Tips:如果是自己學習這些技術，通過社區(qū)學習是一個不錯的方式。 JIRA:https://issues.apache.org/jira/browse/SPARK/?selectedTab=com.atlassian.jira.jira-projects-plugin:summary-panel
-
spark streaming一次調(diào)試過程記錄一下最近調(diào)試Streaming程序的過程中所發(fā)現(xiàn)的問題和解決方案， 背景，batch interval = 120s，10個receiver，吞吐量每秒1000條，一個b...
-
終于明白為什么要加 final 關鍵字了！在開發(fā)過程中，由于習慣的原因，我們可能對某種編程語言的一些特性習以為常，特別是只用一種語言作為日常開發(fā)的情況。但是當你使用超過一種語言進行開發(fā)的時候就會發(fā)現(xiàn)，雖然都是高級語言...
-
IDEA遠程調(diào)試Spark1.前言 本文講述如何使用IDEA遠程調(diào)試spark，這里所說的調(diào)試spark包括： 調(diào)試spark應用程序，也就是使用spark算子編寫的driver applicatio...
