其他分享
首页 > 其他分享> > flink调优_yarn动态分配cpu资源

flink调优_yarn动态分配cpu资源

作者:互联网

由于yarn默认容器资源为最小核心数,即一个cpu,

所以我们要根据并行度去调整分配的cpu资源

程序如下:指定并行度为5,指定每个TM的slot数为2

-p 5 \

 -Dtaskmanager.numberOfTaskSlots=2 \

所以虽然配置了2个slot(并发度为2),但是两个task不能同时运行,因为只有一个cpu

查看yarn的ui,可以看到只用到了4个cpu。

因为我们是5个并行度,所以需要至少3个tm才能运行(3个tm有6个slot)。所以用到的cpu=tm的数量*tm分配的核心数+一个jm使用的cpu=3*1+1=4

 

 

打开配置文件capacity-scheduler.xml,将defaultResourceCalculator注释掉,将下面的DominantResourceCalculator的注释去掉。yarn将动态调整容器内的cpu资源,由于我们设置了slot为2,yarn会调整成2个

 

重启程序,打开ui查看,使用的cpu核心数变成了7个   ,因为是  3*2+1

 

 

我们还可以强行指定yarn的核心数,这里指定为3

-Dyarn.containers.vcores=3 \  

ui如下:


 使用的cpu变成了10个,因为每个tm被分配了3个核心,3*3+1=10

 

 

标签:slot,tm,flink,yarn,并行度,调优,ui,动态分配,cpu
来源: https://www.cnblogs.com/feizaijiawenzhu/p/16084171.html