發(fā)簡(jiǎn)信
IP屬地：天津
-
spark序列化問(wèn)題
1.Spark的transformation操作為什么需要序列化？ Spark是分布式執(zhí)行引擎，其核心抽象是彈性分布式數(shù)據(jù)集RDD，其代表了分布...
-
hive優(yōu)化
1. 2. 3.
-
hive基本操作之二
1.查找數(shù)據(jù)到本地 insert overwrite local directory '/home/mydir/mydir' select ....
-
hive基本操作之一1.hive表中的基本數(shù)據(jù)類型 2,hive創(chuàng)建分區(qū)表 2.1內(nèi)部表 建表語(yǔ)句： create table table_name( F...
-
shell入門
awk sed grep expr let
-
hive調(diào)優(yōu)
1，參數(shù)調(diào)優(yōu) hive.map.aggr = true hive.groupby.skewindata =true 2,
-
spark內(nèi)核啟動(dòng)流程
1.，用戶提交Application 2，啟動(dòng)Driver進(jìn)程 3，注冊(cè)Application 4，啟動(dòng)Executor 5，啟動(dòng)Task執(zhí)行 ...