spark性能调优

释放双眼,带上耳机,听听看~!

park性能调优的第一步,就是为任务分配更多的资源,在一定范围内,增加资源的分配与性能的提升是成正比的,实现了最优的资源配置后,在此基础上再考虑进行后面论述的性能调优策略。
指定脚本:
/usr/opt/modules/spark/bin/spark-submit
–class com.atguigu.spark.Analysis
–num-executors 80
–driver-memory 6g
–executor-memory 6g
–executor-cores 3
/usr/opt/modules/spark/jar/spark.jar
第一种情况:standalone模式,第二种情况:Yarn
使用原则:你能使用的资源有多大,就尽量去调节到最大的大小(executor的数量:几十个到上百个不等;executor的 内存;exector的cpu个数)
spark性能调优

给TA打赏
共{{data.count}}人
人已打赏
安全经验

如何避免Adsense违规封号

2021-10-11 16:36:11

安全经验

安全咨询服务

2022-1-12 14:11:49

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索