一、Java虛擬機(jī)垃圾回收調(diào)優(yōu)的背景
如果在持久化RDD的時候,持久化了大量數(shù)據(jù)，那么Java虛擬機(jī)的垃圾回收就可能成為一個性能瓶頸。因此Java虛擬機(jī)會定期進(jìn)行垃圾回收，此時就會追蹤所有java對象，并且在垃圾回收時，找到那些已經(jīng)不存在使用對象，然后清理舊對象，來給新的對象騰出內(nèi)存空間。
垃圾回收的性能開銷,是跟內(nèi)存中的對象的數(shù)量成正比的，所以對于垃圾回收的性能問題，首先要做的是使用更高效的數(shù)據(jù)結(jié)構(gòu)，比如array和String;其次在持久化rdd時，使用序列化的持久化級別,而且用Kryo序列化類庫，這樣每個partition就只是一個對象----一個字節(jié)數(shù)組。
二、監(jiān)測垃圾回收
我們可以對垃圾回收進(jìn)行檢測,包括多久進(jìn)行一次垃圾回收,以及每次垃圾回收耗費(fèi)的時間。只要在spark-submit腳本中,增加一個配置即可,--conf
"spark.executor.extraJavaOptions=-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"。
但是要記住，這里雖然會打印出Java虛擬機(jī)的垃圾回收的相關(guān)信息，但是是輸出到了worker上的日志中，而不是driver的日志中。但是這種方式也只是一種，其實(shí)也完全可以通過SparkUI（4040端口）來觀察每個stage的垃圾回收的情況。
三、優(yōu)化executor內(nèi)存比例
對于垃圾回收來說,最重要的就是調(diào)節(jié)RDD緩存占用的內(nèi)存空間,與算子執(zhí)行時創(chuàng)建的對象占用的內(nèi)存空間的比例。默認(rèn)情況下,Spark使用每個executor 60%的內(nèi)存空間來緩存RDD,那么執(zhí)行在task執(zhí)行期間創(chuàng)建對象，只有40%的內(nèi)存空間來存放。
在這種情況下，很有可能因?yàn)槟愕膬?nèi)存的不足,task創(chuàng)建的對象過大,那么一旦發(fā)現(xiàn)40%的內(nèi)存空間不夠用了,就會觸發(fā)Java虛擬機(jī)的垃圾回收操作,因此在極端情況下,垃圾回收操作可能會被頻繁觸發(fā)。
在上述情況下,如果發(fā)現(xiàn)垃圾回收頻繁發(fā)生。那么就需要對那個比例進(jìn)行調(diào)優(yōu)。
使用new SparkConf().set("spark.storage.memoryFraction", "0.5")即可，可以將RDD緩存占用空間的比例降低，從而給更多的空間讓task創(chuàng)建的對象進(jìn)行使用。
因此，對于RDD持久化，完全可以使用Kryo序列化，加上降低其executor內(nèi)存占比的方式，來減少其內(nèi)存消耗。給task提供更多的內(nèi)存，從而避免task的執(zhí)行頻繁觸發(fā)垃圾回收。
四、高級垃圾回收調(diào)優(yōu)
1.高級垃圾回收調(diào)優(yōu)(1)
Java堆空間被劃分成了兩塊空間，一個是年輕代，一個是老年代。年輕代放的是短時間存活的對象，老年代放的是長時間存活的對象。年輕代又被劃分了三塊空間，Eden、Survivor1、Survivor2。
首先，Eden區(qū)域和Survivor1區(qū)域用于存放對象，Survivor2區(qū)域備用。創(chuàng)建的對象，首先放入Eden區(qū)域和Survivor1區(qū)域，如果Eden區(qū)域滿了，那么就會觸發(fā)一次Minor GC，進(jìn)行年輕代的垃圾回收。Eden和Survivor1區(qū)域中存活的對象，會被移動到Survivor2區(qū)域中。然后Survivor1和Survivor2的角色調(diào)換，Survivor1變成了備用。如果一個對象，在年輕代中，撐過了多次垃圾回收，都沒有被回收掉，那么會被認(rèn)為是長時間存活的，此時就會被移入老年代。此外，如果在將Eden和Survivor1中的存活對象，嘗試放入Survivor2中時，發(fā)現(xiàn)Survivor2放滿了，那么會直接放入老年代。此時就出現(xiàn)了，短時間存活的對象，進(jìn)入老年代的問題。如果老年代的空間滿了，那么就會觸發(fā)Full GC，進(jìn)行老年代的垃圾回收操作。
2.高級垃圾回收調(diào)優(yōu)(2)
Spark中，垃圾回收調(diào)優(yōu)的目標(biāo)就是，只有真正長時間存活的對象，才能進(jìn)入老年代，短時間存活的對象，只能呆在年輕代。不能因?yàn)槟硞€Survivor區(qū)域空間不夠，在Minor GC時，就進(jìn)入了老年代。從而造成短時間存活的對象，長期呆在老年代中占據(jù)了空間，而且Full GC時要回收大量的短時間存活的對象，導(dǎo)致Full GC速度緩慢。
如果發(fā)現(xiàn)，在task執(zhí)行期間，大量full gc發(fā)生了，那么說明，年輕代的Eden區(qū)域，給的空間不夠大。此時可以執(zhí)行一些操作來優(yōu)化垃圾回收行為：
1、包括降低spark.storage.memoryFraction的比例，給年輕代更多的空間，來存放短時間存活的對象；
2、給Eden區(qū)域分配更大的空間，使用-Xmn即可，通常建議給Eden區(qū)域，預(yù)計(jì)大小的4/3；
3、如果使用的是HDFS文件，那么很好估計(jì)Eden區(qū)域大小，如果每個executor有4個task，然后每個hdfs壓縮塊解壓縮后大小是3倍，此外每個hdfs塊的大小是64M，那么Eden區(qū)域的預(yù)計(jì)大小就是：4 * 3 * 64MB，然后呢，再通過-Xmn參數(shù)，將Eden區(qū)域大小設(shè)置為4 * 3 * 64 * 4/3。
五、總結(jié)
其實(shí)啊，根據(jù)經(jīng)驗(yàn)來看，對于垃圾回收的調(diào)優(yōu)，盡量就是說，調(diào)節(jié)executor內(nèi)存的比例就可以了。因?yàn)閖vm的調(diào)優(yōu)是非常復(fù)雜和敏感的。除非是，真的到了萬不得已的地方，然后呢，自己本身又對jvm相關(guān)的技術(shù)很了解，那么此時進(jìn)行eden區(qū)域的調(diào)節(jié)，調(diào)優(yōu)，是可以的。
一些高級的參數(shù)
-XX:SurvivorRatio=4：如果值為4，那么就是兩個Survivor跟Eden的比例是2:4，也就是說每個Survivor占據(jù)的年輕代的比例是1/6，所以，你其實(shí)也可以嘗試調(diào)大Survivor區(qū)域的大小。
-XX:NewRatio=4：調(diào)節(jié)新生代和老年代的比例
