前面講到了RDD的分區(qū)、RDD的創(chuàng)建，這節(jié)將講解RDD的轉(zhuǎn)換，RDD的轉(zhuǎn)換就是從父RDD生成一個(gè)新的RDD，新的RDD分區(qū)可能和父RDD一致也可能不再一致。常用的轉(zhuǎn)換函數(shù): ...
發(fā)簡(jiǎn)信
IP屬地：福建
-
SPARK[RDD之轉(zhuǎn)換函數(shù)]
-
SPARK[RDD之創(chuàng)建函數(shù)]
RDD的創(chuàng)建大多數(shù)情況下是從hdfs文本來(lái)的，當(dāng)然也可以從其他組件接入進(jìn)來(lái)，如kafka、hbase等，后續(xù)介紹 創(chuàng)建類型： 1、文本類型沒(méi)有指定分區(qū)個(gè)數(shù)的，如果是hdfs則...
-
SPARK[RDD之分區(qū)函數(shù)]
rdd的計(jì)算都是以partiotion為單元的，這些分區(qū)的轉(zhuǎn)換函數(shù)(見(jiàn)后面的章節(jié))不會(huì)直接返回結(jié)果。當(dāng)出現(xiàn)collect,count,toList,print才會(huì)真正執(zhí)行。 ...
-
SPARK[RDD之partitions]
RDD是容錯(cuò)、并行的數(shù)據(jù)結(jié)構(gòu)，具備分區(qū)的屬性，這個(gè)分區(qū)可以是單機(jī)上分區(qū)也可以是多機(jī)上的分區(qū)，對(duì)于RDD分區(qū)的數(shù)量涉及到這個(gè)RDD進(jìn)行并發(fā)計(jì)算的粒度。每一個(gè)分區(qū)都會(huì)在一個(gè)單獨(dú)的...
-
SPARK[RDD之dependencies]
Resilient Distributed Datasets [r?'z?l??nt] 準(zhǔn)確翻譯為 容錯(cuò)的 并行的 數(shù)據(jù)結(jié)構(gòu) 而不是彈性分布式數(shù)據(jù)集合RDD提供了豐富的集合...
-
SPARK[star]
AMPAlgorithms 算法Machines 機(jī)器people 人 spark較mapreduce快100倍的原因：內(nèi)存數(shù)據(jù)、調(diào)度優(yōu)化、傳輸優(yōu)化、DAG執(zhí)行引擎。 一...
-
HBASE[3]建表考慮hbase建表在hbase中的表，表大小可以使10億行和數(shù)百萬(wàn)個(gè)列，存儲(chǔ)量是其他任何radbms無(wú)法比擬的，查詢更新等待時(shí)間并絲毫不比radbms慢，反而會(huì)快的很多。當(dāng)然缺點(diǎn)...
-
MapReduce
OLTP On-Line Transaction ProcessingOLAP On-Line Analytical Processing在定時(shí)任務(wù)OLAP中，我們也需要做優(yōu)...
-
HDFSHDFS是HADOOP的分布式文件系統(tǒng)，它的設(shè)計(jì)目標(biāo)是存儲(chǔ)海量數(shù)據(jù)，為網(wǎng)絡(luò)中的大量客戶端提供數(shù)據(jù)訪問(wèn)。 在hdfs中單個(gè)文件被拆分多個(gè)固定大小的blo...
-
MySql高效應(yīng)用(1)客戶端 -->解析優(yōu)化-->緩存-->存儲(chǔ)引擎 并發(fā)控制 1、串行(隊(duì)列)執(zhí)行2、讀(共享鎖) 寫(xiě)(排他鎖)鎖 鎖粒度 1、表鎖2、行鎖 行鎖實(shí)現(xiàn)層在存儲(chǔ)引擎上，mysql不...
-
Mac 優(yōu)化工具 Dr. Cleaner RD<br><a href="https://links.jianshu.com/go?to=http%3A%2F%2Fappletuner.trendmicro.com" target="_blank">http://appletuner.trendmicro.com</a>
-
責(zé)任鏈模式
當(dāng)一個(gè)web請(qǐng)求到達(dá)的時(shí)候，去執(zhí)行邏輯1，得到結(jié)果1；再根據(jù)結(jié)果1，執(zhí)行邏輯2，得到結(jié)果2，……依次執(zhí)行，最后得到結(jié)果N，也就是最終結(jié)果。 而具體到這個(gè)軟件產(chǎn)品中，將具體要執(zhí)...
-
策略模式
假設(shè)現(xiàn)在要設(shè)計(jì)一個(gè)販賣各類書(shū)籍的電子商務(wù)網(wǎng)站的購(gòu)物車系統(tǒng)。一個(gè)最簡(jiǎn)單的情況就是把所有貨品的單價(jià)乘上數(shù)量，但是實(shí)際情況肯定比這要復(fù)雜。比如，本網(wǎng)站可能對(duì)所有的高級(jí)會(huì)員提供每本2...
-
invoke過(guò)程
反射(Reflection)是Java 程序開(kāi)發(fā)語(yǔ)言的特征之一，它允許運(yùn)行中的 Java 程序獲取自身的信息，并且可以操作類或?qū)ο蟮膬?nèi)部屬性。 程序中對(duì)象的類型都是在編譯期就...
-
橋接模式深入理解
橋接模式是一種結(jié)構(gòu)型模式，它主要應(yīng)對(duì)的是：由于實(shí)際的需要，某個(gè)類具有兩個(gè)或兩個(gè)以上的維度變化，如果只是用繼承將無(wú)法實(shí)現(xiàn)這種需要，或會(huì)使得設(shè)計(jì)變得相當(dāng)臃腫。 橋接模式的做法是把...
-
native關(guān)鍵字
簡(jiǎn)單地講，一個(gè)Native Method就是一個(gè)java調(diào)用非java代碼的接口。一個(gè)Native Method是這樣一個(gè)java的方法：該方法的實(shí)現(xiàn)由非java語(yǔ)言實(shí)現(xiàn)，比...
-
What does the sun.reflect.CallerSensitive annotation mean?
在class.forName(String)中： Reflection.getCallerClass()返回調(diào)用此方法的方法調(diào)用者的類，忽略關(guān)聯(lián)的框架及其實(shí)現(xiàn)。JVM將跟蹤這...
-
借一斑略知全豹，以一目盡傳精神。 投稿須知： 1.本專題收錄各種類型短篇小說(shuō)，內(nèi)容須言 之有物。 2.內(nèi)容須為原創(chuàng)，結(jié)構(gòu)完整（未完待續(xù)及連 載小說(shuō)請(qǐng)勿投）。 3.字?jǐn)?shù)要求：三千字以上，三萬(wàn)字以下。 4.文章排版整潔，段落分明，無(wú)明顯錯(cuò)別 字。 5.優(yōu)秀短篇，編輯將會(huì)手動(dòng)加入短篇小說(shuō)月刊專題，并邀請(qǐng)加入優(yōu)秀作者群。 更多投稿要求請(qǐng)點(diǎn)擊《短篇小說(shuō)專題投稿指南》http://m.itdecent.cn/p/e46829ef7a33 專題主編：蘇小飛 http://m.itdecent.cn/u/7ef36743bc26 申請(qǐng)短篇小說(shuō)專題群交流學(xué)習(xí)，請(qǐng)?zhí)砑又骶幪K小飛微信13953505883，編輯李布波微信18764407758。加微信請(qǐng)備注“短篇小說(shuō)群”。
