其他分享
首页 > 其他分享> > 不仅Docker会使用Control Group，KVM也会使用Cgroup来控制资源分配

不仅Docker会使用Control Group，KVM也会使用Cgroup来控制资源分配

作者：互联网

使用过Docker的人都知道，Docker使用cgroup来控制进程的资源使用量，在OpenStack中使用KVM同样也存在这个问题，KVM虽然可以做内核的隔离，但是使用起主机上的CPU来，也是互相争抢的，需要使用cgroup控制资源使用量。

Control Group又称cgroup，用于控制进程的资源使用：CPU, Disk I/O, Memory, Network等。

Cgroup有几个重要的概念：

一、对CPU的控制

CFS (Completely Fair Scheduler) ：

查看cpuset，在如下路径下面：

cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,relatime,cpuset)

cat ubuntutest.libvirt-qemu/cpuset.cpus #0-3

cat ubuntutest2.libvirt-qemu/cpuset.cpus #0-3

两个VM都同时使用四个CPU，为了查看CPU调度，我们使用一个CPU

关闭VM，设置cpuset.cpus

重启VM

在两台虚拟机上创建一个无限循环的python程序

没有设置cgroup的时候，两台虚拟机同时运行这个程序

设置cpu.shares

查看现在的设置

修改ubuntutest2的设置

echo 4096 > ubuntutest2.libvirt-qemu/cpu.shares

也可以通过virsh设置和查看

virsh schedinfo ubuntutest --set cpu_shares=2048

设置vcpu_quota

二、对block I/O的控制

查看major number和minor number

相对值：范围在100到1000

echo 8:0 500 > blkio.weight_device

绝对值(bytes per second)：

echo "8:0 10485760" > /cgroup/blkio/testcg/blkio.throttle.read_bps_device

echo "8:0 10485760" > /cgroup/blkio/testcg/blkio.throttle.write_bps_device

使用virsh

使用iotop -P -o查看速度

设置cache='none'

设置写入速度

echo "8:0 10485760" > ubuntutest.libvirt-qemu/blkio.throttle.write_bps_device

echo "8:0 20971520" > ubuntutest.libvirt-qemu/blkio.throttle.write_bps_device

四、对网络I/O的控制

对于virsh命令，当前net_cls还不支持

可以通过TC直接控制网卡的流量

TC有两种类型控制网络I/O.

第一种类型为：Classless Queuing Disciplines，也即不分类

默认为pfifo_fast

pfifo是基于ToS和priomap分到不同的队列中

网络包里面有TOS，总共四位

代表5种类型

这是priomap，设置了不同的ToS去哪个队列

还有一种队列名叫SFQ, Stochastic Fair Queuing随机公平队列

会有很多的FIFO的队列，TCP Session或者UDP stream会被分配到域名购买某个队列。

包会RoundRobin的从各个队列中取出发送。

这样不会一个Session占据所有的流量。

但不是每一个Session都有一个队列，而是有一个Hash算法，将大量的Session分配到有限的队列中。

这样两个Session会共享一个队列，也有可能互相影响。

Hash函数会经常改变，从而session不会总是相互影响。

还有一种队列名叫TBF, Token Bucket Filter

它有两个概念Tokens and buckets

所有的包排成队列进行发送，但不是到了队头就能发送，而是需要拿到Token才能发送

Token根据设定的速度rate生成，所以即便队列很长，也是按照rate进行发送的

当没有包在队列中的时候，Token还是以既定的速度生成，但是不是无限累积的，而是放满了buckets为止，篮子的大小常用burst/buffer/maxburst来设定

Buckets会避免下面的情况：当长时间没有包发送的时候，积累了大量的Token，突然来了大量的包，每个都能得到Token，造成瞬间流量大增

第二种类型：Classful Queuing Disciplines，是分类的

常见的为HTB, Hierarchical Token Bucket，有以下的概念

type  of class

class  state

HTB  internal state

action  taken

leaf

< rate

HTB_CAN_SEND

Leaf  class will dequeue queued bytes up to available tokens (no more than burst  packets)

leaf

> rate,  < ceil

HTB_MAY_BORROW

Leaf  class will attempt to borrow tokens/ctokens from parent class. If tokens are  available, they will be lent in quantum increments and the leaf  class will dequeue up to cburst bytes

leaf

> ceil

HTB_CANT_SEND

No  packets will be dequeued. This will cause packet delay and will increase  latency to meet the desired rate.

inner,  root

< rate

HTB_CAN_SEND

Inner  class will lend tokens to children.

inner,  root

> rate,  < ceil

HTB_MAY_BORROW

Inner  class will attempt to borrow tokens/ctokens from parent class, lending them to  competing children in quantum increments per request.

inner,  root

> ceil

HTB_CANT_SEND

Inner  class will not attempt to borrow from its parent and will not lend tokens/ctokens  to children classes.

例如创建一个如下的htb树

创建一个HTB的qdisc在eth0上，句柄为1:，default 12表示默认发送给1:12

tc qdisc add dev eth0 root handle 1: htb default 12

创建一个root class，然后创建几个子class

同一个root class下的子类可以相互借流量，如果直接不在qdisc下面创建一个root class，而是直接创建三个class，他们之间是不能相互借流量的。

tc class add dev eth0 parent 1: classid 1:1 htb rate 100kbps ceil 100kbps

tc class add dev eth0 parent 1:1 classid 1:10 htb rate 30kbps ceil 100kbps

tc class add dev eth0 parent 1:1 classid 1:11 htb rate 10kbps ceil 100kbps

tc class add dev eth0 parent 1:1 classid 1:12 htb rate 60kbps ceil 100kbps

创建叶子qdisc，分别为fifo和sfq

tc qdisc add dev eth0 parent 1:10 handle 20: pfifo limit 5

tc qdisc add dev eth0 parent 1:11 handle 30: pfifo limit 5

tc qdisc add dev eth0 parent 1:12 handle 40: sfq perturb 10

设定规则：从1.2.3.4来的，发送给port 80的包，从1:10走；其他从1.2.3.4发送来的包从1:11走；其他的走默认

tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip src 1.2.3.4 match ip dport 80 0xffff flowid 1:10

tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip src 1.2.3.4 flowid 1:11

当同时发大量的包的时候会出现下面的图形

时间0的时候，0,1,2都以90k的速度发送数据，在时间3的时候，将0的发送停止，红色的线归零，剩余的流量按照比例分给了蓝色的和绿色的线。

在时间6的时候，将0的发送重启为90k，则蓝色和绿色的流量返还给红色的流量。

在时间9的时候，将1的发送停止，绿色的流量为零，剩余的流量按照比例分给了蓝色和红色。

在时间12,将1的发送恢复，红色和蓝色返还流量。

在时间15，将2的发送停止，蓝色流量为零，剩余的流量按照比例分给红色和绿色。

在时间19，将1的发送停止，绿色的流量为零，所有的流量都归了红色。

对于如下的图谱图，创建如下的规则

tc qdisc add dev tap3 root handle 1: htb

tc class add dev tap3 parent 1: classid 1:1 htb rate 100kbps ceil 100kbps

tc class add dev tap3 parent 1:1 classid 1:10 htb rate 20kbps ceil 100kbps

tc class add dev tap3 parent 1:1 classid 1:11 htb rate 80kbps ceil 100kbps

tc qdisc add dev tap3 parent 1:10 handle 20: pfifo limit 5

tc qdisc add dev tap3 parent 1:11 handle 30: pfifo limit 5

tc filter add dev tap3 protocol ip parent 1:0 prio 1 u32 match ip src 192.168.57.100 flowid 1:10

tc filter add dev tap3 protocol ip parent 1:0 prio 1 u32 match ip src 192.168.57.101 flowid 1:11

五、Libvirt可以通过hooks来设置cgroup

Libvirt提供hook功能，可以再下面的事件发生的时候，调用脚本做一些事情

Hook在目录/etc/libvirt/hooks下：

脚本可以是bash也可以是python

脚本参数

注意：不可以在hook脚本中调用virsh的api，容易引起死锁

简单的hook脚本，打印参数和stdin

要加载hook脚本，必须stop然后start libvirt-bin

测试脚本

tail -f /tmp/hook.log

关闭这个实例

会看到新的日志

复杂的hook脚本

修改/etc/libvirt/hooks/qemu

/etc/libvirt/hooks/qemu.d/disable_icmp.py

/etc/libvirt/hooks/qemu.d/enable_icmp.py

/etc/libvirt/hooks/qemu.d/update_cpu_share.py

/etc/libvirt/hooks/qemu.d/add_tc.py

我们最后测试一下

启动虚拟机virsh start ubuntutest4

在tail -f /tmp/hook.log中

运行iptables –nvL

查看/sys/fs/cgroup/cpu/machine/ubuntutest4.libvirt-qemu/cpu.shares

查看tc qdisc show dev vnet0

文件夹也创建了

删除虚拟机virsh destroy ubuntutest4

在tail -f /tmp/hook.log中

运行iptables –nvL

文件夹也删除了

标签：Control,Group,class,KVM,dev,libvirt,add,cgroup,tc
来源： https://blog.csdn.net/woliuqiangdong/article/details/121123234