Spark性能调优—-JVM调优

Spark性能调优之JVM调优

通过一张图让你明白以下四个问题

               1.JVM GC机制，堆内存的组成

**               2.Spark的调优为什么会和JVM的调优会有关联？–因为Scala也是基于JVM运行的语言******

**               3.Spark中OOM产生的原因******

**               4.如何在JVM这个层面上来对Spark进行调优**

   补充：

**               Spark程序运行时–JVM堆内存分配比例
**

                   
RDD缓存的数据（0.6）    默认****

                   
对象_task运行时产生的（0.2）    默认

                   
聚合内存_shuffle read拉来的数据（0.2）    默认

                **手动分配内存时，**不能去调节task运行时的内存，可以去调节其他的RDD Memory OR Shuffle read_聚合内存来间接调节task运行内存