边缘计算架构分析
作者:互联网
边缘计算架构分析
2021云计算十大关键词分别是:云原生、高性能、混沌工程、混合云、边缘计算、零信任、优化治理、数字政府、低碳云、企业数字化转型。
本文主要参考了以下文章
https://mp.weixin.qq.com/s/sULsk-JNNaLPa9NG69fb3w
https://mp.weixin.qq.com/s/LaqElDQjmr0xpZ7S9sNxwA
https://mp.weixin.qq.com/s/Jcy_zv4xI7giktRpA4y3-A
1
云原生:云计算架构正在以云原生为技术内核加速重构
随着中国在“新基建”领域的布局加速,云计算迎来全新的发展机遇,万千企业数字化转型提速换挡,对云计算的使用效能提出新的需求。云原生以其独特的技术特点,很好的契合了云计算发展的本质需求,正在成为驱动云计算“质变”的技术内核。
在未来的一段时间内,以云原生为技术内核重构IT架构将是大势所趋。
2
高性能:云端高性能计算驱动数字经济发展
当前,算力推动云计算、大数据、人工智能及智慧应用从概念落地到现实,中国的数字经济也逐步向人工智能、智能芯片、物联网、大数据、云计算等“算力依赖型”产业聚焦。
随着云计算不断发展,云上算力从计算资源、网络资源、存储资源三个维度不断丰富增强,云端高性能算力的大规模调度更为便捷、提供的算力形式更加多样化、运行任务透明、触达更多的应用。在此优势下,云端高性能市场逆势上涨。
3
混沌工程:为复杂系统稳定性保驾护航
复杂系统的稳定性难以保障正在成为行业发展的痛点,混沌工程的出现和兴起,为复杂系统稳定性保驾护航,保证生产环境的分布式系统,在面对失控条件的时候,仍然具备较强的韧性。
目前,混沌工程虽然已经在互联网、金融、通信、工业等多个行业逐步落地,但仍处于早期探索阶段,亟需标准规范推进行业健康发展。中国信通院已经编制了 《混沌工程平台能力要求》《混沌工程成熟度模型》《软件系统稳定性度量模型》等标准,并展开了混沌工程相关评估工作,同时还将成立混沌工程实验室。
4
混合云:成为企业上云主流模式
随着十四五规划的进一步明确,混合云已成为未来国内云计算发展的重点之一。而近几年混合云技术和方案的快速发展,也使其在各个行业的应用不断深入,已成为企业上云的主流模式。
从市场接受度来看,全球范围内有82%的用户已经应用混合云部署模式;从产业供给来看,公有云服务商、私有云厂商、电信运营商、传统IT服务商、云管理服务商等众多厂商被混合云的广阔前景所吸引,纷纷推出了各自的解决方案;从行业应用来看,混合云的落地实践和应用场景日益丰富。
5
边缘计算:呈蓄势待发之势
边缘计算正在呈现出蓄势待发之势,产业关注度不断提高、技术体系日臻成熟、应用场景日益丰富、标准制定不断演进。
纵观整个边缘计算产业生态,芯片设备、云服务商、运营商、软件与解决方案商、开源组织等企业和组织纷纷推出相关产品和服务,整个生态日益完善。
中国信通院发布的“2021云边协同十佳案例”显示,边缘计算已经在工业、交通等重点领域得到了应用,未来随着产业生态不断完善,技术体系快速发展,边缘计算将在产业和企业数字化转型扮演重要角色。
6
零信任:与原生云安全不断融合
随着企业上云进程的不断加快,传统以边界为核心的安全防护体系遭遇瓶颈,零信任、原生云安全等理念兴起,为企业建设新一代安全体系提供了指引。
当前,云原生与云安全呈加速融合趋势。一是在运营阶段,零信任作为云安全产品不断原生化,零信任从私有化部署向SaaS服务演进、SD-WAN通过集成零信任,实现安全访问服务边缘(SASE),云上零信任实现了安全性能的弹性扩展,能够应对海量访问请求,同时微隔离作为零信任关键技术,对云内东西向流量进行访问控制,弥补传统安全防护机制在云环境应用的不足。二是原生云安全强调从研发阶段关注安全,越来越多的企业开始以零信任原则设计应用系统,云服务或云上应用将实现原生零信任,安全能力得到大幅提升。
7
优化治理:企业上云加速优化治理需求
随着企业用云程度的加深,企业关注点从开始上云的咨询、迁移,逐步地转到上云后的优化,云优化治理体系逐步形成。
云优化治理体系能够给企业上云策略制定、线路规划、采用实施、云上优化进行全生命周期的优化提升,让企业更懂云、更好的用云,为企业数字化转型提供新的动力。
8
数字政府:数字技术使能政府治理创新
提高数字政府建设水平是“十四五”规划的重要篇章 ,随着数字政府迎来蓝海市场,企业纷纷加速布局。充分发挥云计算等数字技术的使能作用,推动政府治理流程再造和模式优化,不断提高决策科学性和服务效率是数字政府未来趋势。
未来,数字政府建设水平和运营效果成熟度,将会成为行业关注重点。
9
低碳云:企业数字化与节能减碳齐头并进的技术引擎
随着数字经济加速发展,企业数据中心成为能耗大户,严重制约企业和全社会的绿色发展。低碳云能够提升资源效能,赋能社会节能减碳。
“低碳云”是指利用云计算实现提高计算、存储、网络等资源利用率,全面提升全社会资源效能,并将云计算与大数据、人工智能等技术融合,赋能企业和全社会节能减碳的目标。
10
企业数字化转型:从宏观逐渐到微观落地
企业数字化转型是国家推动经济社会发展的重要战略手段。2017年,政府工作报告首次提出“数字经济”概念,至今已累计4次被直接写入政府工作报告。“十四五”规划中明确提出“以数字化转型整体驱动生产方式、生活方式和治理方式变革”等一系列重要规划目标,数字化概念,逐渐从宏观向企业各个环节的微观数字化落地。
边缘计算整体架构
边缘计算系统整体分为云、边、端三部分,具体如图2-1所示。
▲图2-1 边缘计算整体架构(点击图片可放大)
01 云
CPU支持X86和ARM架构;操作系统支持Linux、Windows和macOS;容器运行时支持Docker、Containerd和Cri-o;集群编排使用Kubernetes,包括控制节点、计算节点和集群存储。
控制节点核心组件包括Kube-apiserver、Kube-controller-manager和Kube-scheduler,计算节点组件包括Kubelet和Kube-proxy,集群存储组件包括Etcd。
云上的负载以Pod形式运行,Pod由Container组成,Container是基于操作系统的NameSpace和Cgroup隔离出来的独立空间。
02 边
CPU支持X86和ARM架构;操作系统支持Linux;容器运行时支持Docker;边缘集群编排使用KubeEdge,包括云部分的CloudCore、边缘部分的EdgeCore和边缘集群存储SQLite。边缘上的负载以Pod形式运行。
03 端
由运行在边缘集群上的管理端设备的服务框架EdgeX Foundry和端设备组成,EdgeX Foundry从下往上依次为设备服务层、核心服务层、支持服务层、导出服务层,这也是物理域到信息域的数据处理顺序。
设备服务层负责与南向设备交互;核心服务层介于北向与南向之间,作为消息管道并负责数据存储;支持服务层包含广泛的微服务,主要提供边缘分析服务和智能分析服务;开放服务层是整个EdgeX Foundry服务框架的网关层。
多图详解边缘计算
从组成部分和概念解析两方面说明边缘计算系统。
- 组成部分:边缘计算系统由云、边、端三部分组成,每部分的解决方案不止一种。云组成部分选择Kubernetes,边组成部分选择KubeEdge,端组成部分选择EdgeX Foundry。
- 概念解析:对组成边缘计算系统的云、边、端三部分涉及的相关概念进行说明。
01 边缘计算系统的组成
1. 云——Kubernetes
Kubernetes是Google开源的大规模容器编排解决方案。整套解决方案由核心组件、第三方组件和容器运行时组成,具体如下所示。
1)核心组件
- Kube-apiserver:Kubernetes内部组件相互通信的消息总线,对外暴露集群API资源的唯一出口
- Kube-controller:保证集群内部资源的现实状态与期望状态保持一致
- Kube-scheduler:将需要调度的负载与可用资源最佳匹配
- Kube-proxy:为节点内的负载访问和节点间的负载访问做代理
- Kubelet:根据Kube-scheduler的调度结果,操作相应负载
2)第三方组件 - Etcd:存储集群的元数据和状态数据
- Flannel集群的跨主机负载网络通信的解决方案需要对原来的数据包进行额外的封装、解封装,性能损耗较大
- Calico集群的跨主机负载网络通信的解决方案纯三层网络解决方案,不需要额外的封装、解封装,性能损耗较小
- CoreDNS:负责集群中负载的域名解析
3)容器运行时 - Docker:目前默认的容器运行时
- Containerd:比Docker轻量,稳定性与Docker相当的容器运行时
- Cri-o轻量级容器运行时目前稳定性没有保证
- Frakti基于Hypervisor的容器运行时目前稳定性没有保证
2. 边——KubeEdge
KubeEdge是华为开源的一款基于Kubernetes的边缘计算平台,用于将容器化应用的编排功能从云扩展到边缘的节点和设备,并为云和边缘之间的网络、应用部署和元数据同步提供基础架构支持。KubeEdge使用Apache 2.0许可,可以免费用于个人或商业用途。
KubeEdge由云部分、边缘部分和容器运行时组成,具体如下所示。
- 云部分 | CloudCore
- 负责将云部分的事件和指令下发到边缘端,同时接收边缘端上报的状态信息和事件信息
- 边缘部分 | EdgeCore
- 接收云部分下发的事件和指令,执行相关指令,将边缘的状态信息和事件信息上报到云部分
- 容器运行时 | Docker
- 目前,KubeEdge默认支持Docker
- 官方表示未来会支持Containerd、Cri-o等容器运行时
3. 端——EdgeX Foundry
EdgeX Foundry是一个由Linux基金会运营的开源边缘计算物联网软件框架项目。该项目的核心是基于与硬件和操作系统完全无关的参考软件平台建立的互操作框架,构建即插即用的组件生态系统,加速物联网方案的部署。EdgeX Foundry使有意参与的各方在开放与互操作的物联网方案中自由协作,无论使用公开标准还是私有方案。
EdgeX Foundry微服务集合构成了4个微服务层及两个增强的基础系统服务。4个微服务层包含从物理域数据采集到信息域数据处理等一系列服务,两个增强的基础系统服务为4个微服务层提供服务支撑。
4个微服务层从物理层到应用层依次为设备服务(Device Service)层、核心服务(Core Service)层、支持服务(Supporting Service)层、导出服务(Export Service)层,两个增强的基础系统服务包括安全和系统管理服务,具体说明如下所示。
1)设备服务层 - Device-modbus-go:Go实现对接使用Modbus协议设备的服务
- Device-camera-go:Go实现对接摄像头设备的服务
- Device-snmp-go:Go实现对接SNMP服务
- Device-mqtt-go:Go实现对接使用MQTT协议设备的服务
- Device-sdk-goGo实现对接其他设备的SDKSDK给设备接入提供了较大的灵活性
2)核心服务层 - Core-command:负责向南向设备发送命令
- Core-metadata:负责设备自身能力描述,提供配置新设备,并将它们与其拥有的设备服务配对的功能
- Core-data:负责采集南向设备层数据,并向北向服务提供数据服务
- Registry & Config:负责服务注册与发现,为其他EdgeX Foundry微服务提供关于EdgeX Foundry的相关服务的信息,包括微服务配置属性
3)支持服务层 - Support-logging:负责日志记录
- Support-notification:负责事件通知
- Support-scheduler:负责数据调度
4)导出服务层 - Export-client:导出数据的客户端
- Export-distro:导出数据的应用
5)两个增强的基础系统服务 - System-mgmt-agent:提供启动、停止所有微服务的API
- Sys-mgmt-executor:负责启动、停止所有微服务的最终执行
02 概念解析
组成边缘计算系统的云、边、端三部分的相关概念如下。 - 云:涉及的概念包括Container、Pod、ReplicaSet、Service、Deployment、DaemonSet、Job、Volume、ConfigMap、NameSpace、Ingress等。
- 边:目前边缘系统的实现方式是通过对云原有的组件进行裁剪并下沉到边缘,所以边涉及的概念是云的子集,与云保持一致。
- 端:部署在边上的一套微服务,目前没有引入新的概念。
目前,边和端都在沿用云的概念,所以本节主要是对云的概念进行解析。下面以图解的形式对云涉及的相关概念进行说明。由图1-1可知,Container(容器)是在操作系统之上的一种新的环境隔离技术。使用容器隔离出的独立空间包含应用所需的运行时环境和依赖库。在同一台主机上,容器共享操作系统内核。
▲图1-1 Container解析
由图1-2可知,Pod是由一组容器组成的,在同一个Pod内的容器共享存储和网络命名空间。在边缘计算系统中,Pod是最小的可调度单元,应用负载的最终载体。
▲图1-2 Pod解析
由图1-3可知,ReplicaSet用来管理Pod,负责让Pod的期望数量与Pod真实数量保持一致。在边缘计算系统中,ReplicaSet负责维护应用的多实例和故障自愈。
▲图1-3 ReplicaSet解析
由图1-4可知,Service作为一组Pod的访问代理,在多个Pod之间做负载均衡。Pod的生命周期相对比较短暂,变更频繁。Service除了为与之相关的Pod做访问代理和负载均衡外,还会维护与Pod的对应关系。
▲图1-4 Service解析
由图1-5可知,Deployment是ReplicaSet的抽象,在ReplicaSet的基础上增加了一些高级功能。功能和应用场景与ReplicaSet相同。
▲图1-5 Deployment解析
由图1-6可知,DaemonSet负责让指定的Pod在每个节点上都启动一个实例。该功能一般用在部署网络插件、监控插件和日志插件的场景。
▲图1-6 DaemonSet解析
由图1-7可知,Job用来管理批量运行的Pod,该管理类型的Pod会被定期批量触发。与Deployment管理的Pod不同,Job管理的Pod执行完相应的任务后就退出,不会一直驻留。在边缘计算系统中,一般用Job所管理的Pod来训练AI模型。
▲图1-7 Job解析
由图1-8可知,Volume是用来给Pod提供存储的,通过挂载的方式与对应Pod关联。Volume分临时存储和持久存储,临时存储类型的Volume会随着Pod的删除而被删除,持久存储类型的Volume不会随着Pod的删除而被删除。
▲图1-8 Volume解析
由图1-9可知,ConfigMap作为Pod存储配置文件的载体,通过环境变量(env)和文件卷的方式与Pod进行关联。在边缘计算系统中,以ConfigMap方式来管理配置信息会更方便。ConfigMap还可以对配置中的敏感信息进行加密,使配置信息更安全。
▲图1-9 ConfigMap解析
由图1-10可知,NameSpace是对Pod、Service、ConfigMap、Deployment、DaemonSet等资源进行隔离的一种机制,一般用在同一公司的不同团队隔离资源的场景。边缘计算系统使用NameSpace来对一个团队可以使用的资源(CPU、内存)和创建的负载所需要的资源进行限制。
▲图1-10 NameSpace解析
由图1-11可知,Ingress可作为集群内与集群外相互通信的桥梁—将集群内的服务暴露到集群外,同时可以对进入集群内的流量进行合理的管控。在边缘计算系统中,Ingress是一种资源对象,需要配合Ingress Controller和反向代理工作。
▲图1-11 Ingress解析
参考链接
https://mp.weixin.qq.com/s/sULsk-JNNaLPa9NG69fb3w
https://mp.weixin.qq.com/s/LaqElDQjmr0xpZ7S9sNxwA
https://mp.weixin.qq.com/s/Jcy_zv4xI7giktRpA4y3-A
标签:容器,服务,边缘,集群,计算,架构,Pod 来源: https://www.cnblogs.com/wujianming-110117/p/16098310.html