1.Spark的transformation操作為什么需要序列化？
Spark是分布式執(zhí)行引擎，其核心抽象是彈性分布式數(shù)據(jù)集RDD，其代表了分布在不同節(jié)點(diǎn)的數(shù)據(jù)。Spark的計(jì)算是在executor上分布式執(zhí)行的，故用戶開(kāi)發(fā)的關(guān)于RDD的map，flatMap，reduceByKey等transformation 操作（閉包）有如下執(zhí)行過(guò)程：
1. 代碼中對(duì)象在driver本地序列化
2. 對(duì)象序列化后傳輸?shù)竭h(yuǎn)程executor節(jié)點(diǎn)
3. 遠(yuǎn)程executor節(jié)點(diǎn)反序列化對(duì)象
4. 最終遠(yuǎn)程節(jié)點(diǎn)執(zhí)行
故對(duì)象在執(zhí)行中需要序列化通過(guò)網(wǎng)絡(luò)傳輸，則必須經(jīng)過(guò)序列化過(guò)程。
2.如何解決Spark序列化問(wèn)題？
如果出現(xiàn)NotSerializableException報(bào)錯(cuò)，可以在spark-default.xml文件中加入如下參數(shù)來(lái)開(kāi)啟SerializationDebugger功能類，從而可以在日志中打印出序列化出問(wèn)題的類和屬性信息。
spark.executor.extraJavaOptions-Dsun.io.serialization.extendedDebugInfo=true
spark.driver.extraJavaOption-Dsun.io.serialization.extendedDebugInfo=true
3.序列化案例代碼講解
轉(zhuǎn)載：http://blog.csdn.net/u011491148/article/details/46910803
