其他分享
首页 > 其他分享> > 秒懂确定性网络之玩转队列(上)

秒懂确定性网络之玩转队列(上)

作者:互联网

队列调度是计算机网络中的一个核心问题,过去的几十年里,在工业网络、数据中心网络、广域网等场景中,大量的调度算法被设计来提供不同的特性和优化不同的目标,可编程包调度更是近几年数据中心网络研究领域的皇冠。随着应用对网络服务质量的要求不断提高,确定性网络中的队列机制也不断推陈出新。本文带大家玩转队列,按照队列的概念、队列的演进、队列的确定性增强,分为三小节,揭开众多机制背后的核心奥秘。

本文首先解释队列的概念,从队列的位置讲起,介绍单个队列的入队、调度、出队过程,呈现先入先出(FIFO, First-In-First-Out)、压入先出(PIFO,Push-In-First-Out)两种经典的队列形式,以及相关的调度算法;然后分析队列机制的演进过程,从单队列延伸到多队列,从硬件队列延伸到软件队列,以及每包、每流、每类、每队列等调度粒度;最后讲解确定性网络中的流量整形、门控、帧抢占等队列增强机制。

队列的概念

什么是队列?

如图1所示,一台交换机有多个端口,交换机内部通过交换矩阵将端口连接起来,数据包总是从一个端口进,然后通过交换矩阵,再从另一个端口出,在全双工模式下每个端口既是入端口也是出端口。交换机里有一块存储资源叫缓冲区,大部分交换机的片上缓存都不大,一般是几MB到几十MB,均分到各个端口也就几百KB,有突发流量时大概能存下几十个包。

虽然单端口带宽在不到十年的时间里从1G发展到了400G,但缓存并没有很大提升,因为大缓存虽能减少丢包,但需要相对多的寻址时间,会降低数据包的转发速度,增加设备成本和网络延迟。队列是缓冲区里的一种数据结构,用于针对不同的应用优化网络的丢包率和时延性能。

图1 交换机结构与队列

为什么需要队列

队列主要解决排队的问题,如果网络是一个带宽相同的线型拓扑,速率处处匹配,流量总大小不超过端口带宽,则无需队列。如图2所示,现实中网络拓扑复杂,存在流量的微突发(比如由TCP滑动窗口导致的突发)和多打一等上下游端口速率不匹配问题,因此需要队列调度。

在缓存排队的过程中,有的应用需要低时延,要求缓存小且被优先调度;有的应用需要零丢包,则缓存越大越好;有的追求网络吞吐量和利用率,要求针对带宽进行优化;有的追求公平性,要求队列资源尽量平均分配;有的又对流完成时间有要求,需要降低流量的长尾时延。同时满足多种应用需求给队列调度带来了巨大的挑战。

图2 微突发与多打一场景

队列的位置

关于缓冲队列应该放在什么位置,有很多不同的见解,如图3所示,总的有输出端口缓冲、输入端口缓冲+虚拟输出队列(Virtual Output Queues, VOQs)、交叉点缓冲、共享缓冲四种方式[1]。

(a)输出端口缓冲是将缓冲区放在出端口的位置,它相比于输入端口缓冲有更好的时延和吞吐性能,然而它要求每个出端口具有N倍的线速处理能力,以处理N个入端口连向同一个出端口的情况,这种N倍的处理能力往往是不切实际的;

(b)于是有了入端口缓冲+虚拟输出队列VOQs的架构,可以满足线速处理但吞吐量下降,这也是当前最常用的缓冲方式。

(c)交叉点缓冲能够保证高吞吐,但对于具有N 个入端口和N个出端口的交换机需要 O(N*N) 的内存成本。事实上,在这种架构中每个输入-输出对都拥有自己的交叉点缓冲,不能共享不同的交叉点缓冲区,因此当N较大时,会造成相当大的内存浪费。在片上内存有限的嵌入式系统中,高昂的内存成本也是不可接受的。

(d)最后还有一种“交换-内存-交换”的共享缓冲架构,在架构中间使用至少2N-1个缓冲区来模拟输出缓冲区切换;这些缓冲区由所有端口共享,因此即使仅使用一小部分端口,也可以获得高达 100% 的内存使用率。

总的来说,不管缓冲区放在什么位置,当提到“队列调度”时,默认发生在交换机出端口就好了。

图3 缓冲队列的四种位置

单队列调度:
下面来看单队列的调度,其分为入队、调度、出队三个过程。其中,入队是做接入控制,对流量进行识别和分类,对不符合要求的流量进行丢弃;调度是对队列中的数据包进行选择出队,在单队列中有“先入先出FIFO”、“压入先出PIFO”两种最常用的模式,在模式之上可以做各式各样的调度算法创新;出队是将数据包传输到链路上,链路连接到下一节点的入端口,在出队时做流量整形(即控制流量在出端口传输时的发送速率),可以降低或避免下游节点拥塞。

先入先出队列:
先入先出队列是最基本最纯粹的队列,是其他队列改进的母版。如图4(a)所示,它让最先到达的数据包最先出队,不改变包的顺序,也就是没有调度算法,不进行调度。当然,它也可以在入队做接入控制,在出队做流量整形。

压入先出队列:
如图4(b)所示,每个数据包携带有一个数字标记作为它的秩,一般秩越小表示数据包的等级越高,越需要被优先传输[2]。压入先出队列首先在入队时对不符合秩条件的数据包进行丢弃,然后根据秩大小进行排序,把秩小的包压入队头优先出队传输。

队列调度算法:
仅在单队列模式的基础上,人们就做了大量的队列调度算法创新,比如主动队列管理,给队列长度设定一个阈值,如果队列长度超过这个阈值,就丢弃后面的包,从而保证传输时延不会过大;再比如在此基础上衍生出的ECN显示拥塞通知,如果队列长度超过这个阈值,就通知上游发送节点降低发送速率,直到反馈到发送端降低发送速率,等到队列长度小于这个阈值了,又可以通知发送端增大发送速率。

此外,在选择谁应该被放在前面优先调度上,不仅可以用秩,还可以用时延预估,比如截止时间小的包优先调度,可以用流的体积,当大象流和老鼠流同时到达,体积小的老鼠流优先调度。在确定性网络中,还可以给队列长度设定一个上界,流量不超过队列长度的最大值,从而保证零丢包以及有界低时延。

下一节将介绍队列机制的演进过程,以及确定性网络中的队列增强机制,更多内容请看下回分解。

 

标签:队列,缓冲,端口,调度,出队,确定性,玩转,数据包
来源: https://blog.csdn.net/weixin_44260459/article/details/123034870