發(fā)簡(jiǎn)信
IP屬地：河北
-
SPARK[RDD之轉(zhuǎn)換函數(shù)]
前面講到了RDD的分區(qū)、RDD的創(chuàng)建，這節(jié)將講解RDD的轉(zhuǎn)換，RDD的轉(zhuǎn)換就是從父RDD生成一個(gè)新的RDD，新的RDD分區(qū)可能和父RDD一致也可...
-
SPARK[RDD之創(chuàng)建函數(shù)]
RDD的創(chuàng)建大多數(shù)情況下是從hdfs文本來的，當(dāng)然也可以從其他組件接入進(jìn)來，如kafka、hbase等，后續(xù)介紹 創(chuàng)建類型： 1、文本類型沒有指...
-
SPARK[RDD之分區(qū)函數(shù)]
rdd的計(jì)算都是以partiotion為單元的，這些分區(qū)的轉(zhuǎn)換函數(shù)(見后面的章節(jié))不會(huì)直接返回結(jié)果。當(dāng)出現(xiàn)collect,count,toLis...
-
SPARK[RDD之partitions]
RDD是容錯(cuò)、并行的數(shù)據(jù)結(jié)構(gòu)，具備分區(qū)的屬性，這個(gè)分區(qū)可以是單機(jī)上分區(qū)也可以是多機(jī)上的分區(qū)，對(duì)于RDD分區(qū)的數(shù)量涉及到這個(gè)RDD進(jìn)行并發(fā)計(jì)算的粒...
-
SPARK[RDD之dependencies]
Resilient Distributed Datasets [r?'z?l??nt] 準(zhǔn)確翻譯為 容錯(cuò)的 并行的 數(shù)據(jù)結(jié)構(gòu) 而不是彈性分布式...
-
SPARK[star]
AMPAlgorithms 算法Machines 機(jī)器people 人 spark較mapreduce快100倍的原因：內(nèi)存數(shù)據(jù)、調(diào)度優(yōu)化、...
-
HBASE[3]建表考慮hbase建表在hbase中的表，表大小可以使10億行和數(shù)百萬個(gè)列，存儲(chǔ)量是其他任何radbms無法比擬的，查詢更新等待時(shí)間并絲毫不比radbm...
-
MapReduce
OLTP On-Line Transaction ProcessingOLAP On-Line Analytical Processing在定時(shí)...
-
HBASE[2]高級(jí)特性
wait ..