Linux ixgbe 10G intel 网卡数据包处理流程
作者：互联网
Linux ixgbe 10G intel 网卡数据包处理流程
ixgbe_adapter
/* board specific private data structure */
struct ixgbe_adapter {
//数据量太多，摘录部分看过比较有用的
//发送的rings
struct ixgbe_ring *tx_ring[MAX_TX_QUEUES] ____cacheline_aligned_in_smp;
//接收的rings
struct ixgbe_ring *rx_ring[MAX_RX_QUEUES];
//这个vector里面包含了napi结构，不知道如何下定义这个q_vector
//应该是跟下面的entries一一对应起来做为是一个中断向量的东西吧
struct ixgbe_q_vector *q_vector[MAX_Q_VECTORS];
//这个里面估计是MSIX的多个中断对应的响应接口
struct msix_entry *msix_entries;
}
ixgbe_q_vector
struct ixgbe_q_vector {
struct ixgbe_adapter *adapter;
ifdef CONFIG_IXGBE_DCA
int cpu; /* CPU for DCA */
#endif
u16 v_idx; /* index of q_vector within array, also used for
* finding the bit in EICR and friends that
* represents the vector for this ring */
u16 itr; /* Interrupt throttle rate written to EITR */
struct ixgbe_ring_container rx, tx;
struct napi_struct napi;//这个poll的接口实现是ixgbe_poll
cpumask_t affinity_mask;
int numa_node;
struct rcu_head rcu; /* to avoid race with update stats on free */
char name[IFNAMSIZ + 9];
/* for dynamic allocation of rings associated with this q_vector */
struct ixgbe_ring ring[0] ____cacheline_internodealigned_in_smp;
};
softnet_data
/*
* Incoming packets are placed on per-cpu queues
*/
struct softnet_data {
struct Qdisc *output_queue;
struct Qdisc **output_queue_tailp;
struct list_head poll_list;
struct sk_buff *completion_queue;
struct sk_buff_head process_queue;
/* stats */
unsigned int processed;
unsigned int time_squeeze;
unsigned int cpu_collision;
unsigned int received_rps;
#ifdef CONFIG_RPS
struct softnet_data *rps_ipi_list;
/* Elements below can be accessed between CPUs for RPS */
struct call_single_data csd ____cacheline_aligned_in_smp;
struct softnet_data *rps_ipi_next;
unsigned int cpu;
unsigned int input_queue_head;
unsigned int input_queue_tail;
#endif
unsigned int dropped;
struct sk_buff_head input_pkt_queue;
struct napi_struct backlog;//cpu softnet_data的poll接口是process_backlog
};
napi_struct
/*
* Structure for NAPI scheduling similar to tasklet but with weighting
*/
struct napi_struct {
/* The poll_list must only be managed by the entity which
* changes the state of the NAPI_STATE_SCHED bit. This means
* whoever atomically sets that bit can add this napi_struct
* to the per-cpu poll_list, and whoever clears that bit
* can remove from the list right before clearing the bit.
*/
struct list_head poll_list;
unsigned long state;
int weight;
unsigned int gro_count;
int (*poll)(struct napi_struct *, int);//poll的接口实现
#ifdef CONFIG_NETPOLL
spinlock_t poll_lock;
int poll_owner;
#endif
struct net_device *dev;
struct sk_buff *gro_list;
struct sk_buff *skb;
struct list_head dev_list;
};
enum {
NAPI_STATE_SCHED, /* Poll is scheduled */
NAPI_STATE_DISABLE, /* Disable pending */
NAPI_STATE_NPSVC, /* Netpoll - don't dequeue from poll_list */
};
1.......................................................
文件 ixgbe_main.c
ixgbe_init_module注册一个ixgbe_driver的pci结构，其中我们关注ixgbe_probe接口，这个是网卡probe时的实现
2.......................................................
文件 ixgbe_main.c
ixgbe_probe这里关注3个事情
1.创建ixgbe_adapter的adapter结构，这个结果是网卡的一个实例，包含了网卡的所有数据及接口，包含了下面要
创建的netdev结构，还包含了每个中断号的响应数据结构接口（网卡是支持MSIX的），里面有一个叫q_vector的
数组，是ixbge_q_vector数据类型的（这个应该是一个中断向量的数据类型），每个元素是一个ixgbe_q_vector类型，
这个类似的数据结构包含了几样重要的东西，其中一样是napi_struct类型的成员napi，这个就包含了包含了ixgbe_poll
接口，主要是上层软中断调用的轮询接口；除此adapter还包含了一个重要的成员变量，struct msix_entry *msix_entries;
这个应该是MSIX没个通道对应的中断向量结构，下面的步骤4会描述
2.创建一个netdev结构net_device，net_device在linux里面代表是一个网络设备，然后绑定里面的netdev_ops接口
对应ixgbe_netdev_ops，这个结构有个响应网卡open的回调实现，ixgbe_open，按照open接口的描述
"Called when a network interface is made active" 网卡激活的时候被调用的，之前的probe接口是检测时被调用
3.ixgbe_init_interrupt_scheme这个函数主要是设置网卡的napi_struct结构的poll接口，这个poll接口实现是ixgbe_poll，
这个接口是面向内核层的设备poll包装，这里我们要区分清楚，cpu的softnet_data的napi结构poll的接口实现是
process_backlog，然而网卡ixgbe_q_vector里面napi结构poll的接口实现是ixgbe_poll，这个最终会在下面是否是
NAPI的调用方式中体现出来，参考步骤9
3.......................................................
文件 ixgbe_main.c
ixgbe_open这里主要有两个任务
1.根据queue初始化对应的ring buffer
ixgbe_setup_all_tx_resources(adapter); //设置发送队列的rings等等
ixgbe_setup_all_rx_resources(adapter); //设置接收队列的rings等等
2. ixgbe_request_irq根据中断类型设置中断响应机制(MSI/MSIX或者其它)一般好点的网卡都是支持MSIX的，
所以我们看里面的ixgbe_request_msix_irqs这个函数的实现
4.......................................................
文件 ixgbe_main.c
ixgbe_request_msix_irqs函数，因为MSIX是一个队列对应一个中断号，这里主要是对每个队列设置对应的中断响应接口，
（这里主要还是对adapter的q_vector进行设置，参考上面步骤2的第一点）
对应的接口是ixgbe_msix_clean_rings，这个函数会调用request_irq设置每个通道的硬中断实现为ixgbe_msix_clean_rings，
具体部分代码节选如下
for (vector = 0; vector < adapter->num_q_vectors; vector++) {
...........
struct ixgbe_q_vector *q_vector = adapter->q_vector[vector];
struct msix_entry *entry = &adapter->msix_entries[vector];
err = request_irq(entry->vector, &ixgbe_msix_clean_rings, 0,q_vector->name, q_vector);
...........
}
主要是把q_vector的中断向量实现接口与MSIX的一一对应起来
除了设置中断响应接口，这个函数还有设置IRQ的CPU affinity
5.......................................................
文件 ixgbe_main.c
ixgbe_msix_clean_rings这个函数就是网卡接收，发送数据时的中断响应接口，里面没做太多东西调用napi_schedule接口，
这里面的napi schedule有点折腾，要慢慢追踪下去，
static irqreturn_t ixgbe_msix_clean_rings(int irq, void *data)
{
struct ixgbe_q_vector *q_vector = data;
if (q_vector->rx.ring || q_vector->tx.ring)
napi_schedule(&q_vector->napi);//这里要注意，传进去的是qvector的napi结构，到时候调用的poll接口是ixgbe_poll
}
static inline void napi_schedule(struct napi_struct *n)
{
if (napi_schedule_prep(n))
__napi_schedule(n);
}
void __napi_schedule(struct napi_struct *n)
{
unsigned long flags;
local_irq_save(flags);
____napi_schedule(&__get_cpu_var(softnet_data), n);
//这里我们看到，把adapter的q_vector的napi结构放到当前运行cpu的napi结构的poll list队列去
//__get_cpu_var这个宏按照网上找到的信息，这个是获取当前运行CPU的softnet_data
//最终会有下面raise一个NET_RX_SOFTIRQ软中断叫CPU去处理自己的softnet_data里面的napi
//队列
local_irq_restore(flags);
}
____napi_schedule(struct softnet_data *sd,struct napi_struct *napi)
{
list_add_tail(&napi->poll_list, &sd->poll_list);
__raise_softirq_irqoff(NET_RX_SOFTIRQ);
}
当软中断响应后，数据包就从驱动层上升到内核层面的逻辑了，（注意前面的下划线个数，因为个数都有好几个的）
6.......................................................
文件 net/core/dev.c
最终napi_schedule会调用__raise_softirq_irqoff去触发一个软中断NET_RX_SOFTIRQ，然后又对应的软中断接口去实现往
上的协议栈逻辑
NET_RX_SOFTIRQ是收到数据包的软中断信号对应的接口是net_rx_action
NET_TX_SOFTIRQ是发送完数据包后的软中断信号对应的接口是net_tx_action
7.......................................................
文件 net/core/dev.c
net_rx_action主要是获取到cpu的softnet_data结构，然后开始迭代对softnet_Data里面的queue队列中的网络数据包进行处理，
这里会调用对应设备的napi_struct数据结构里面的poll接口。这个接口在ixgbe_probe里面设置好了，对应是ixgbe_poll函数。
net_rx_action函数会对目前设备是否已经处于NAPI_STATE_SCHED才会调用ixgbe_poll接口。
具体看看net_rx_action的代码节选
static void net_rx_action(struct softirq_action *h)
{
//这个是NAPI的工作方式函数，NAPI工作模式下关闭硬中断，在2个时钟周期内poll收到预期数据包budget个数
//否则重新开启硬中断，跳出poll轮询
unsigned long time_limit = jiffies + 2;
int budget = netdev_budget;
struct softnet_data *sd = &__get_cpu_var(softnet_data);
local_irq_disable();
while (!list_empty(&sd->poll_list)) {
struct napi_struct *n;
int work, weight;
......
/* If softirq window is exhuasted then punt.
* Allow this to run for 2 jiffies since which will allow
* an average latency of 1.5/HZ.
*/
//在指定2个时钟周期内收到budget个数据包，否则跳出poll轮询，这就是NAPI的工作方式
//减少中断调用次数获取数据包
if (unlikely(budget <= 0 || time_after_eq(jiffies, time_limit)))
goto softnet_break;
local_irq_enable();
......
//获取当前CPU的softnet_data中napi的poll list列表
n = list_first_entry(&sd->poll_list, struct napi_struct, poll_list);
if (test_bit(NAPI_STATE_SCHED, &n->state)) {
work = n->poll(n, weight);//然后就开始调用napi_struct结构的poll接口，这个接口的实现就是上面步骤2的第三小点描述的
//其实这里的poll调用就是调用了ixgbe_poll
}
......
}
8.......................................................
文件 ixgbe_main.c
ixgbe_poll函数主要做3个事情
1.对tx发送数据包队列进行处理 ixgbe_clean_tx_irq
2.对rx接收数据包队列进行处理 ixgbe_clean_rx_irq
3.最后通知napi_complete
9.......................................................
文件 ixgbe_main.c
ixgbe_clean_rx_irq函数把ring buffer的内容取出来转成sk_buff包，然后提交到ixgbe_rx_skb，ixgbe_rx_skb会根据
当前是否是NETPOLL工作模式来区分调用接口，NETPOLL是一种用于调试的工作模式，我们暂不深入研究
napi_gro_receive会往上调用napi_gro_receive(struct napi_struct *napi, struct sk_buff *skb)，然而这个传进来的napi
结构正是qvector的结构，poll接口是ixgbe_poll实现的
部分代码节选如下
static void ixgbe_rx_skb(struct ixgbe_q_vector *q_vector, struct sk_buff *skb)
{
struct ixgbe_adapter *adapter = q_vector->adapter;
if (!(adapter->flags & IXGBE_FLAG_IN_NETPOLL))
napi_gro_receive(&q_vector->napi, skb);
else
netif_rx(skb); //这里是NETPOLL的方式，
}
10.......................................................
文件 net/core/dev.c
netif_receive_skb接口在新版内核里面做了两件事情
1.google的RPS机制会在这里调度CPU
2.往上层调用接口，从__netif_receive_skb_core再调用到deliver_skb接口，这个deliver_skb接口会调用一个叫packet_type数据
结构里面的func接口，这个是数据包接收下层提交到协议栈的接口，数据也就由此进入了TCP/IP协议栈了
11.......................................................
文件 net/ipv4/af_inet.c ip_input.c
这个是ipv4的AF_INET协议模块，在inet_init初始化时会注册一个ip_packet_type的数据结构，这个结果就是packet_type类型的，
里面指定了数据接收的函数func回调接口的实现ip_rcv。除此之外还注册了2个重要的net_protocol的协议接口tcp_protocol,udp_protocol，这个后面的ip_local_deliver会用到
ip_rcv的函数就开始了TCP/IP协议栈的工作流程，这里主要是做一些IP包的分析，最后调用netfilter的PRE_ROUTING hook，
通知完netfilter的hook之后,假如这个包ACCEPT的话会调用ip_rcv_finish
12.......................................................
文件 net/ipv4/ip_input.c route.c
这个ip_rcv_finish函数它会调用ip_route_input_noref，最后就会调用一个dst_input，然后这个dst_input其实是调用一个input的
函数指针，这个数据包的input函数指针则是接下来往上层的路径入口，这个input函数指针在那里设置，就是在之前
ip_route_input_noref调用里面设置好了。如果是本机数据则input接口为ip_local_deliver
13.......................................................
文件 net/ipv4/ip_input.c af_inet.c
ip_local_deliver首先会调用netfilter的NF_INET_LOCAL_IN, 如果没问题则调用下一个 ip_local_deliver_finish，这里会获取该IP
数据包的协议结构net_protocol，然后调用net_protocol里面的handler接口
net_protocol在之前的af_inet.c里面的inet_init已经注册好了
tcp协议对应的handler为tcp_v4_rcv
udp协议对应的handler为udp_rcv
14.......................................................
文件 net/ipv4/udp.c
udp_rcv将UDP包放到sock结构sk里面的sk_receive_queue的接收队列里面
15.......................................................
文件 net/ipv4/udp.c net/core/datagram.c
UDP为应用层提供了一个叫udp_prto的数据结构，类型是proto，里面提供了各种接口，如发送，接收等等recvmsg接口对应
UDP的实现是udp_recvmsg，这个函数会调用__skb_recv_datagram接口，这个函数就是从sock结构sk里面的
sk->sk_receive_queue取数据
再分享一下我老师大神的人工智能教程吧。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！http://www.captainbed.net
标签：intel,接口,网卡,vector,ixgbe,poll,数据包,napi,struct 来源： https://www.cnblogs.com/swncz/p/10445827.html