其他分享
首页 > 其他分享> > dpdk/vpp中的memif使用方法

dpdk/vpp中的memif使用方法

作者:互联网

简介

同一主机上的不同DPDK进程可以采用内存交换的方式进行报文传输,这一传输接口叫做memif(shared memory packet interface)。传输的报文是原始报文格式,可以配置为Ethernet模式,IP模式,Punt/Inject模式。目前DPDK memif只支持Ethernet模式。memif接口有两种身份,master和slave,也可以称为server和client,两者通过socket传递控制消息。master和slave是一一对应的关系,一个master只能和一个slave连接,两者拥有相同的id。master负责创建socket并监听slave的连接请求。slave负责创建共享内存文件和初始化共享内存,并且会主动发起socket连接请求。

memif采用unix域套接字来传递控制消息,每组memif在socket里面都有一个唯一的id,这个id也是用来识别对端接口的标识。slave接口在创建的时候,会在指定的socket上尝试连接。socket的监听进程即master接口所在的进程会提取连接请求,并创建一个连接控制信道,并通过此信道发送hello消息,这条消息包含了一些配置信息。slave收到hello消息之后,会根据消息所带的配置来调整自己的配置,随后回复init消息。init消息包含了接口id,监听进程提取接口id,并将控制信道绑定到对应的接口上,之后回复ack。slave收到ack之后就开始创建内存区域(region)和环形队列(ring),并针对每个region和ring都发送一条add消息,master收到后需要逐一回复ack。待slave收到最后一条add ring的ack回复之后,就会发送connect消息,表示slave已经准备就绪。master收到此消息之后,会将region映射到自己的地址空间,初始化ring并回复connected消息,之后就能进行数据报文传输。如果接口状态出现异常,无论是master还是slave,都可以随时发送断开连接请求。

master和slave的协商过程如下:

共享内存

slave是共享内存的生产者,而master是消费者。内存区域(region)是映射的共享内存文件,由 memif slave创建并在连接建立时提供给master。内存区域包含了ring和buffer。ring和buffer可以被分配在多个不同的内存区域。对于非零拷贝模式,ring和buffer只能开辟在同一个内存区域以减少需要打开的文件数量。

非零拷贝内存区域结构 region n (no-zero-copy):

RingsBuffers
S2M ringsM2S ringspacket buffer 0...packet buffer n

buffer的总数量为 (ring的数量) x (ring size)。

ring 数据结构:

typedef struct {
    MEMIF_CACHELINE_ALIGN_MARK(cacheline0);
    uint32_t cookie;                                                /**< MEMIF_COOKIE */
    uint16_t flags;                                                   /**< flags */
#define MEMIF_RING_FLAG_MASK_INT 1        /**< disable interrupt mode */
    uint16_t head;                                                   /**< pointer to ring buffer head */
    MEMIF_CACHELINE_ALIGN_MARK(cacheline1);
    uint16_t tail;                                                      /**< pointer to ring buffer tail */
    MEMIF_CACHELINE_ALIGN_MARK(cacheline2);
    memif_desc_t desc[0];                                     /**< buffer descriptors */
} memif_ring_t;

描述符数据结构:

typedef struct __rte_packed {
    uint16_t flags;                                           /**< flags */
#define MEMIF_DESC_FLAG_NEXT 1       /**< is chained buffer */
    memif_region_index_t region;                  /**< region index on which the buffer is located */
    uint32_t length;                                         /**< buffer length */
    memif_region_offset_t offset;                   /**< buffer offset */
    uint32_t metadata;
} memif_desc_t;

描述符中有个MEMIF_DESC_FLAG_NEXT标志,如果这个标志被置上了,就代表当前的报文长度大于buffer长度,报文会被分成多个buffer存储,并且buffer有可能不连续的。

零拷贝客户端:

在进行memif接口配置的时候,可以将slave配置成零拷贝模式。配置成这种模式时,所有的buffer都是从slave进程的memseg中分配出来并暴露给master。DPDK必须使能 ‘–single-file-segments’,保证所有的buffer都在同一块memseg,可以很容易从内存文件的起始位置偏移出buffer的地址,并且buffer的地址是连续的。

组网测试

下面使用vpp配置memif接口,对比验证下memif的性能。

在服务器上分别起两个vpp进程,vpp1和vpp2。vpp1和vpp2各配置了1个main core和1个work core。在vpp1上创建memif1/1并配置成master,在vpp2上创建memif1/1并配置成slave。vpp1和vpp2各绑定一个10G以太网卡,网口连接交换机,同时Test Center上也有两个10G以太网接口连接交换机。测试流从Test Center一个端口经过vpp1和vpp2两次L3转发至Test Center另外一个端口。测试拓扑图如下:

分别测试以下4中情况的报文转发性能:

1. vpp1和vpp2的core以及绑定的网卡在同一个numa node,vpp2的memif slave配置成零拷贝模式。

2.  vpp1和vpp2的core以及绑定的网卡在同一个numa node,vpp2的memif slave配置成非零拷贝模式。

3. vpp1和vpp2的core以及绑定的网卡在不同的numa node,vpp2的memif slave配置成零拷贝模式。

4. vpp1和vpp2的core以及绑定的网卡在不同的numa node,vpp2的memif slave配置成非零拷贝模式。

vpp1和vpp2上配置命令如下:

创建memif的时候加上no-zero-copy可以配置成非零拷贝模式。另外配置的时候需注意绑定的网卡和core与numa的关系是否和设想的一致。

##### vpp1 配置
set int state TenGigabitEthernetc2/0/0 up
create sub-interfaces TenGigabitEthernetc2/0/0 1 dot1q 1019 exact-match
set interface state TenGigabitEthernetc2/0/0.1 up
set interface ip address TenGigabitEthernetc2/0/0.1 192.85.1.29/24
create memif socket id 111 filename /run/vpp/contiv/memif111.sock
create interface memif id 1 socket-id 111 master ring-size 8192 tx-queues 2 rx-queues 2
# create interface memif id 1 socket-id 111 master ring-size 8192 tx-queues 2 rx-queues 2 no-zero-copy
set interface state memif111/1 up
set interface ip address memif111/1 2.2.2.3/24
ip route add 192.85.2.0/24 via 2.2.2.2

##### vpp2 配置
set int state TenGigabitEthernet1/0/1 up
create sub-interfaces TenGigabitEthernet1/0/1 1 dot1q 1020 exact-match
set interface state TenGigabitEthernet1/0/1.1 up
set interface ip address TenGigabitEthernet1/0/1.1 192.85.2.29/24
create memif socket id 111 filename /run/vpp/contiv/memif111.sock 
create interface memif id 1 socket-id 111 slave ring-size 8192 tx-queues 2 rx-queues 2
# create interface memif id 1 socket-id 111 slave ring-size 8192 tx-queues 2 rx-queues 2 no-zero-copy
set interface state memif111/1 up
set interface ip address memif111/1 2.2.2.2/24
ip route add 192.85.1.0/24 via 2.2.2.3

vpp配置完成之后,从TC上分别ping 192.85.1.28和192.85.2.28以完成mac地址的学习。

##### vpp1
vpp# show ip neighbor
    Time                       IP                    Flags      Ethernet              Interface       
     69.9117               192.85.1.28                 D    00:10:94:00:00:02 TenGigabitEthernetc2/0/0.1
     31.1328                 2.2.2.2                   D    02:fe:64:40:98:8d memif111/1

##### vpp2
vpp# show ip neighbor
    Time                       IP                    Flags      Ethernet              Interface       
    186.6420               192.85.2.28                 D    00:10:94:00:00:19 TenGigabitEthernet1/0/1.1
     27.8395                 2.2.2.3                   D    02:fe:48:42:a7:89 memif111/1

从Test Center 端口发送报文长度为1024字节的udp报文,测试vpp三层转发以及memif性能。报文格式如下:

测试结果如下:

从时延和vpp矢量数据可以看出,采取零拷贝模式,在基于dpdk的不同应用间进行高性能流量转发,也有着不错的性能,不失为一个较好的解决方法。

 

标签:slave,vpp,buffer,master,vpp2,ring,memif,dpdk
来源: https://blog.csdn.net/yaojingqingcheng/article/details/121186316