hadoop開(kāi)發(fā)應(yīng)用 一、文件上傳 創(chuàng)建input文件夾# hadoop fs -mkdir /input 上傳文件到input文件夾下# hadoop fs -put d...
一、集群節(jié)點(diǎn)配置及服務(wù) 二、安裝環(huán)境準(zhǔn)備 1. 設(shè)置主機(jī)名和配置hosts 修改主機(jī)名執(zhí)行指令:# hostnamectl set-hostname tinygao1# ho...
1、鎖類型 jdk1.5之前1、內(nèi)置鎖2、volatile jdk1.51、ReentrantLock 2、區(qū)別 顯式鎖Lock 無(wú)條件的(不需要有一個(gè)互斥對(duì)象) 可輪詢,由...
1、Executor接口 只有一個(gè)方法,void execute(Runnable command); 2、ExecutorService 因?yàn)镋xectuor沒(méi)有管理線程執(zhí)...
上一節(jié)我們知道PageSourceProvider提供了獲取hive split相關(guān)的信息,這一節(jié),我們來(lái)看看是誰(shuí)會(huì)使用它? 1、了解什么是page 一個(gè)Page有多個(gè)Blo...
1、從hive中拉數(shù)據(jù) 1.1 入口 :在presto指定根目錄下/etc/catalog/hive.properties 1.2 讀取配置文件 com.facebook...
1. 樣例1 2.樣例2 private static Interner pool = Interners.newWeakInterner();//這種在分布式系統(tǒng)中會(huì)有問(wèn)...
1、看狀態(tài) 2、看執(zhí)行方法 ExecuteResource.java(@Path("/v1/execute")) 有沒(méi)有發(fā)現(xiàn)跟上一節(jié)的很相似: QueryResource.j...
上一篇文章我們提到:SqlQueryManager。他是管理query語(yǔ)句創(chuàng)建、語(yǔ)法解析、查詢狀態(tài)的跟蹤。 1、查詢語(yǔ)句入口 也就是說(shuō),這一層是基于SqlQueryManag...
一、首先看到入口地方: 有三個(gè)狀態(tài):節(jié)點(diǎn)管理器、查詢管理器、是否包含協(xié)調(diào)器 二、提供的服務(wù): 三、ClusterStats狀態(tài)有哪些? 此處我們可以知道此接口返回的是:運(yùn)行查...
一、查詢帶有restful api的信息,我們發(fā)現(xiàn)都是以“Resource”結(jié)尾的類 首先我們先從NodeResource.java中的"/v1/node"下手,他有一個(gè)成員...
繼上一個(gè)系列中: new PrestoServer().run(); 上面的服務(wù)模塊很多,我們將一個(gè)一個(gè)來(lái)看,到底是干什么的? 不妨我們帶著第一個(gè)問(wèn)題來(lái)看代碼:restful...
接上一篇博文,遺留了三個(gè)問(wèn)題。第一個(gè)問(wèn)題客戶端請(qǐng)求的http://localhost:8080/v1/statement地址的服務(wù)是什么時(shí)候起來(lái)的 1、尋找服務(wù)器代碼 一開(kāi)始...