overlay与underlay通信总结

一、overlay简介

1、VxLAN： VxLAN全称是Virtual eXtensible Local Area Network（虚拟扩展本地局域网） ,主要有Cisco推出， vxlan是一个 VLAN 的扩展协议， 是由IETF定义的NVO3（Network Virtualization over Layer 3） 标准技术之一，VXLAN的特点是将L2的以太帧封装到UDP报文（即L2 over L4） 中， 并在L3网络中传输， 即使用MAC in UDP的方法对报文进行重新封装, VxLAN 本质上是一种overlay的隧道封装技术， 它将L2的以太网帧封装成L4的UDP数据报，然后在L3的网络中传输， 效果就像L2的以太网帧在一个广播域中传输一样， 实际上L2的以太网帧跨越了L3网络传输， 但是缺不受L3网络的限制， vxlan采用24位标识vlan ID号， 因此可以支持2^24=16777216个vlan， 其可扩展性比vlan强大的多， 可以支持大规模数据中心的网络需求。

2、VTEP(VXLAN Tunnel Endpoint vxlan隧道端点),VTEP是VXLAN网络的边缘设备， 是VXLAN隧道的起点和终点， VXLAN对用户原始数据帧的封装和解封装均在VTEP上进行,用于VXLAN报文的封装和解封装,VTEP与物理网络相连,分配的地址为物理网IP地址,VXLAN报文中源IP地址为本节点的VTEP地址，VXLAN报文中目的IP地址为对端节点的VTEP地址， 一对VTEP地址就对应着一个VXLAN隧道， 服务器上的虚拟交换机(隧道flannel.1就是VTEP)， 比如一个虚拟机网络中的多个vxlan就需要多个VTEP对不同网络的报文进行封装与解封装。

3、VNI（VXLAN Network Identifier） ： VXLAN网络标识VNI类似VLAN ID,用于区分VXLAN段,不同VXLAN段的虚拟机不能直接二层相互通信,一个VNI表示一个租户,即使多个终端用户属于同一个VNI,也表示一个租户。

4、NVGRE： Network Virtualization using Generic Routing Encapsulation， 主要支持者是Microsoft， 与VXLAN不同的是， NVGRE没有采用标准传输协议（TCP/UDP） ， 而是借助通用路由封装协议（GRE） ， NVGRE使用GRE头部的低24位作为租户网络标识符（TNI） ， 与VXLAN一样可以支持1777216个vlan。

二、overlay通信过程

1.VM A发送L2 帧与VM请求与VM B通信。

2.源宿主机VTEP添加或者封装VXLAN、 UDP及IP头部报文。

3.网络层设备将封装后的报文通过标准的报文在三层网络进行转发到目标主机。

4.目标宿主机VTEP删除或者解封装VXLAN、 UDP及IP头部。

5.将原始L2帧发送给目标VM。

三、overlay应用场景

1、叠加网络/覆盖网络， 在物理网络的基础之上叠加实现新的虚拟网络， 即可使网络的中的容器可以相互通信。

2、优点是对物理网络的兼容性比较好， 可以实现pod的夸宿主机子网通信。

3、calico与flannel等网络插件都支持overlay网络。

4、缺点是有额外的封装与解封性能开销。

5、目前私有云使用比较多。

四、underlay简介

1、Underlay网络就是传统IT基础设施网络， 由交换机和路由器等设备组成， 借助以太网协议、 路由协议和VLAN协议等驱动， 它还是Overlay网络的底层网络， 为Overlay网络提供数据通信服务。 容器网络中的Underlay网络是指借助驱动程序将宿主机的底层网络接口直接暴露给容器使用的一种网络构建技术，较为常见的解决方案有MAC VLAN、 IP VLAN和直接路由等。

2、Underlay依赖于网络网络进行跨主机通信。

五、underlay实现模式简介

1、Mac Vlan模式：

• MAC VLAN： 支持在同一个以太网接口上虚拟出多个网络接口(子接口)， 每个虚拟接口都拥有唯一的MAC地址并可配置网卡子接口IP。

2、IP VLAN模式：

• IP VLAN类似于MAC VLAN， 它同样创建新的虚拟网络接口并为每个接口分配唯一的IP地址， 不同之处在于， 每个虚拟接口将共享使用物理接口的MAC地址。

六、MAC Vlan工作模式

Private(私有)模式：

• 在Private模式下， 同一个宿主机下的容器不能通信， 即使通过交换机再把数据报文转发回来也不行。

VEPA模式：

• 虚拟以太端口汇聚器（Virtual Ethernet Port Aggregator， 简称VEPA） ， 在这种模式下， macvlan内的容器不能直接接收在同一个物理网卡的容器的请求数据包，
• 但是可以经过交换机的(端口回流)再转发回来可以实现通信。

passthru(直通)模式：

• Passthru模式下该macvlan只能创建一个容器， 当运行一个容器后再创建其他容器则会报错。

bridge模式：

• 在bridge这种模式下， 使用同一个宿主机网络的macvlan容器可以直接实现通信， 推荐使用此模式。

Overlay： 基于VXLAN、 NVGRE等封装技术实现overlay叠加网络。

Macvlan： 基于Docker宿主机物理网卡的不同子接口实现多个虚拟vlan， 一个子接口就是一个虚拟vlan， 容器通过宿主机的路由功能和外网保持通信。

Underlay架构图

标签：总结,VTEP,封装,overlay,报文,宿主机,网络,underlay,VXLAN
来源： https://www.cnblogs.com/cyh00001/p/16646062.html