Java虛擬機垃圾回收調(diào)優(yōu)的背景
如果在持久化RDD的時候，持久化了大量的數(shù)據(jù)，那么Java虛擬機的垃圾回收就可能成為一個性能瓶頸。因為Java虛擬機會定期進行垃圾回收，此時就會追蹤所有的java對象，并且在垃圾回收時，找到那些已經(jīng)不在使用的對象，然后清理舊的對象，來給新的對象騰出內(nèi)存空間。
垃圾回收的性能開銷，是跟內(nèi)存中的對象的數(shù)量，成正比的。所以，對于垃圾回收的性能問題，首先要做的就是，使用更高效的數(shù)據(jù)結(jié)構(gòu)，比如array和string；其次就是在持久化rdd時，使用序列化的持久化級別，而且用Kryo序列化類庫，這樣，每個partition就只是一個對象——一個字節(jié)數(shù)組。
監(jiān)測垃圾回收
我們可以對垃圾回收進行監(jiān)測，包括多久進行一次垃圾回收，以及每次垃圾回收耗費的時間。只要在spark-submit腳本中，增加一個配置即可，--conf "spark.executor.extraJavaOptions=-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"。
但是要記住，這里雖然會打印出Java虛擬機的垃圾回收的相關(guān)信息，但是是輸出到了worker上的日志中，而不是driver的日志中。
其實也完全可以通過SparkUI（4040端口）來觀察每個stage的垃圾回收的情況。
優(yōu)化executor內(nèi)存比例
對于垃圾回收來說，最重要的就是調(diào)節(jié)RDD緩存占用的內(nèi)存空間，與算子執(zhí)行時創(chuàng)建的對象占用的內(nèi)存空間的比例。默認情況下，Spark使用每個executor 60%的內(nèi)存空間來緩存RDD，那么在task執(zhí)行期間創(chuàng)建的對象，只有40%的內(nèi)存空間來存放。
在這種情況下，很有可能因為你的內(nèi)存空間的不足，task創(chuàng)建的對象過大，那么一旦發(fā)現(xiàn)40%的內(nèi)存空間不夠用了，就會觸發(fā)Java虛擬機的垃圾回收操作。因此在極端情況下，垃圾回收操作可能會被頻繁觸發(fā)。
在上述情況下，如果發(fā)現(xiàn)垃圾回收頻繁發(fā)生。那么就需要對那個比例進行調(diào)優(yōu)，使用new SparkConf().set("spark.storage.memoryFraction", "0.5")即可，可以將RDD緩存占用空間的比例降低，從而給更多的空間讓task創(chuàng)建的對象進行使用。
因此，對于RDD持久化，完全可以使用Kryo序列化，加上降低其executor內(nèi)存占比的方式，來減少其內(nèi)存消耗。給task提供更多的內(nèi)存，從而避免task的執(zhí)行頻繁觸發(fā)垃圾回收。
高級垃圾回收調(diào)優(yōu)
Java堆空間被劃分成了兩塊空間，一個是年輕代，一個是老年代。年輕代放的是短時間存活的對象，老年代放的是長時間存活的對象。年輕代又被劃分了三塊空間，Eden、Survivor1、Survivor2。
首先，Eden區(qū)域和Survivor1區(qū)域用于存放對象，Survivor2區(qū)域備用。創(chuàng)建的對象，首先放入Eden區(qū)域和Survivor1區(qū)域，如果Eden區(qū)域滿了，那么就會觸發(fā)一次Minor GC，進行年輕代的垃圾回收。Eden和Survivor1區(qū)域中存活的對象，會被移動到Survivor2區(qū)域中。然后Survivor1和Survivor2的角色調(diào)換，Survivor1變成了備用。
如果一個對象，在年輕代中，撐過了多次垃圾回收，都沒有被回收掉，那么會被認為是長時間存活的，此時就會被移入老年代。此外，如果在將Eden和Survivor1中的存活對象，嘗試放入Survivor2中時，發(fā)現(xiàn)Survivor2放滿了，那么會直接放入老年代。此時就出現(xiàn)了，短時間存活的對象，進入老年代的問題。
如果老年代的空間滿了，那么就會觸發(fā)Full GC，進行老年代的垃圾回收操作。
Spark中，垃圾回收調(diào)優(yōu)的目標就是，只有真正長時間存活的對象，才能進入老年代，短時間存活的對象，只能呆在年輕代。不能因為某個Survivor區(qū)域空間不夠，在Minor GC時，就進入了老年代。從而造成短時間存活的對象，長期呆在老年代中占據(jù)了空間，而且Full GC時要回收大量的短時間存活的對象，導致Full GC速度緩慢。
如果發(fā)現(xiàn)，在task執(zhí)行期間，大量full gc發(fā)生了，那么說明，年輕代的Eden區(qū)域，給的空間不夠大。此時可以執(zhí)行一些操作來優(yōu)化垃圾回收行為：
1、包括降低spark.storage.memoryFraction的比例，給年輕代更多的空間，來存放短時間存活的對象；
2、給Eden區(qū)域分配更大的空間，使用-Xmn即可，通常建議給Eden區(qū)域，預計大小的4/3；
3、如果使用的是HDFS文件，那么很好估計Eden區(qū)域大小，如果每個executor有4個task，然后每個hdfs壓縮塊解壓縮后大小是3倍，此外每個hdfs塊的大小是128M，那么Eden區(qū)域的預計大小就是：4 * 3 * 128MB，然后呢，再通過-Xmn參數(shù)，將Eden區(qū)域大小設置為4 * 3 * 128 * 4/3。
總結(jié)
對于垃圾回收的調(diào)優(yōu)，盡量就是說，調(diào)節(jié)executor內(nèi)存的比例就可以了。因為jvm的調(diào)優(yōu)是非常復雜和敏感的。除非是，真的到了萬不得已的地方，然后呢，自己本身又對jvm相關(guān)的技術(shù)很了解，那么此時進行eden區(qū)域的調(diào)節(jié)，調(diào)優(yōu)，是可以的。
一些高級的參數(shù)
-XX:SurvivorRatio=4：如果值為4，那么就是兩個Survivor跟Eden的比例是2:4，也就是說每個Survivor占據(jù)的年輕代的比例是1/6，所以，你其實也可以嘗試調(diào)大Survivor區(qū)域的大小。
-XX:NewRatio=4：調(diào)節(jié)新生代和老年代的比例
