其他分享
首页 > 其他分享> > CDH5.16.1的Yarn提交任务默认资源分配

CDH5.16.1的Yarn提交任务默认资源分配

作者:互联网

 

1 同时运行5个Spark任务的资源分配截图

 

2 每个任务占用3个Container 3个core以及4.5GB内存

也就是说一个Container需要 1个core 以及 512MB的内存

如果资源不够,可以提交任务时修改下内存分配,比如256MB,这样就可以提交更多的Spark任务到Yarn集群运行了。

标签:core,Container,Yarn,任务,内存,CDH5.16,Spark,资源分配
来源: https://www.cnblogs.com/QuestionsZhang/p/10854923.html