1 同时运行5个Spark任务的资源分配截图
2 每个任务占用3个Container 3个core以及4.5GB内存
也就是说一个Container需要 1个core 以及 512MB的内存
如果资源不够,可以提交任务时修改下内存分配,比如256MB,这样就可以提交更多的Spark任务到Yarn集群运行了。
标签:core,Container,Yarn,任务,内存,CDH5.16,Spark,资源分配
来源: https://www.cnblogs.com/QuestionsZhang/p/10854923.html