前言 Java傳統(tǒng)的線程和操作系統(tǒng)中的線程是一一對(duì)應(yīng)關(guān)系,意味著創(chuàng)建一個(gè)Java線程的同時(shí)會(huì)創(chuàng)建出一個(gè)操作系統(tǒng)線程。這樣會(huì)帶來(lái)如下問題: 操作系統(tǒng)線程的創(chuàng)建代價(jià)很高,需要分配...
前言 Java傳統(tǒng)的線程和操作系統(tǒng)中的線程是一一對(duì)應(yīng)關(guān)系,意味著創(chuàng)建一個(gè)Java線程的同時(shí)會(huì)創(chuàng)建出一個(gè)操作系統(tǒng)線程。這樣會(huì)帶來(lái)如下問題: 操作系統(tǒng)線程的創(chuàng)建代價(jià)很高,需要分配...
前言 Kyuubi提供了兩個(gè)命令行工具:kyuubi-admin和kyuubi-ctl。這兩個(gè)工具的功能和用法非常相似,能夠獲取到Kyuubi server和engine的狀...
背景 對(duì)于億級(jí)規(guī)模的數(shù)據(jù)量,使用傳統(tǒng)數(shù)據(jù)庫(kù)分析會(huì)比較低效且耗時(shí)。 這時(shí)就引入了OLAP引擎,本文以impala和spark為主進(jìn)行介紹。 OLAP典型技術(shù)組件 impala是...
真真假假一查便知。 筆者以武漢為例說一下如何查證。 搜索武漢房管局,第一條就是,點(diǎn)擊即可。 找到辦事服務(wù),點(diǎn)擊商品房項(xiàng)目查詢 找到你想要的樓盤 查看樓盤表 預(yù)售情況一目了然,...
1.使用explain查看執(zhí)行計(jì)劃 建表優(yōu)化 2.開啟動(dòng)態(tài)分區(qū)配置,使用分區(qū)過濾3.分桶表 語(yǔ)法優(yōu)化 a. 分區(qū)過濾和列過濾,減少數(shù)據(jù)量和降低讀取開銷 b. group by...
Spark UI 上面顯示的 Storage Memory 可用內(nèi)存其實(shí)等于 Execution 內(nèi)存和 Storage 內(nèi)存之和,也就是 usableMemory * sp...
hive timestamp 與impala顯示不一致 hive ''和null 不一致 導(dǎo)入hive \n\r 特殊字符 hive 動(dòng)態(tài)分區(qū)插入
知音號(hào)里面的劇情是上世紀(jì)二三十年代的大武漢,船上有不同的角色,名伶、報(bào)童、商賈…… 你可以自由地穿梭在各個(gè)角落,在演員之間駐足,甚至與他們共舞對(duì)戲。你跟著的演員不同,在表演中...
傳統(tǒng)的離線 Batch SQL (面向有界數(shù)據(jù)集的 SQL)有三種基礎(chǔ)的實(shí)現(xiàn)方式,分別是 Nested-loop Join(嵌套循環(huán))、Sort-Merge Join 和 H...