發(fā)簡信
IP屬地：上海
-
spark面試題1、rdd有哪些算子？ 主要分為轉(zhuǎn)換算子和action算子。 transformation：map、filter、flatmap、mappa...
-
關(guān)于spark-submit執(zhí)行jar包代碼測試如何使用spark-submit來執(zhí)行編寫的wordcount代碼。 1、先簡單編寫測試文本。 2、將文本提交到hdfs上。 指令為：had...
-
hbase的優(yōu)化
1、rowkey設(shè)計有哪三原則? ①長度原則：rowkey是二進(jìn)制碼流。10-100個字節(jié)。 ②散列原則：rowkey是按照字典序存儲的。利...
-
hbase讀寫請求流程詳解要理解讀寫流程，先要清除hbase的架構(gòu)圖。以0.96版本以下的三層架構(gòu)為例： hbase是主從架構(gòu)，主節(jié)點是HMaster，從節(jié)點是HRegi...
-
spark優(yōu)化專題
--基礎(chǔ)設(shè)置 1、資源參數(shù)設(shè)置： --num-executors 配置Executor的數(shù)量 默認(rèn)為2 --driver-memory ...
-
spark內(nèi)存溢出及其解決方案1、你在工作當(dāng)中有遇到內(nèi)存溢出問題嗎？你是如何解決的？ 回答思路：先解釋spark的內(nèi)存模型，再分情況介紹不同情況下的解決方案?？傮w思想是根...
-
Hadoop面試題之yarn1、簡單介紹yarn？ yarn是一個資源管理、任務(wù)調(diào)度的框架。主要包含三個模塊：resourceManger、nodeManger、Appli...
-
每日一篇算法題 leetcode
20200405--兩數(shù)之和 給定一個整數(shù)數(shù)組 nums和一個目標(biāo)值 target，請你在該數(shù)組中找出和為目標(biāo)值的那兩個整數(shù)，并返回他們的數(shù)組下...
-
hadoop面試題之HDFS1、簡單介紹下hadoop吧？ 廣義上hadoop是指與hadoop相關(guān)的大數(shù)據(jù)生態(tài)圈。包含hive、spark、hbase等。 狹義上...