操作場景
Broadcast（廣播）可以把數(shù)據(jù)集合分發(fā)到每一個節(jié)點上，Spark任務(wù)在執(zhí)行過程中要使用這個數(shù)據(jù)集合時，就會在本地查找Broadcast過來的數(shù)據(jù)集合。如果不使用Broadcast，每次任務(wù)需要數(shù)據(jù)集合時，都會把數(shù)據(jù)序列化到任務(wù)里面，不但耗時，還使任務(wù)變得很大。
? ? ? ? 1、每個任務(wù)分片在執(zhí)行中都需要同一份數(shù)據(jù)集合時，就可以把公共數(shù)據(jù)集Broadcast到每個節(jié)點，讓每個節(jié)點在本地都保存一份。
? ? ? ? 2、大表和小表做join操作時可以把小表Broadcast到各個節(jié)點，從而就可以把join操作轉(zhuǎn)變成普通的操作，減少了shuffle操作。
操作步驟
在開發(fā)應(yīng)用程序時，添加如下代碼，將“testArr”數(shù)據(jù)廣播到各個節(jié)點。
def main(args: Array[String]) {
? ? ...
? ? val testArr: Array[Long] = new Array[Long](200)
? ? val testBroadcast: Broadcast[Array[Long]] = sc.broadcast(testArr)
? ? val resultRdd: RDD[Long] = inpputRdd.map(input => handleData(testBroadcast, input))
? ? ...
}
def handleData(broadcast: Broadcast[Array[Long]], input: String) {
? ? val value = broadcast.value
? ? ...
}
