其他分享
首页 > 其他分享> > SuperEdge再添国产智能加速卡支持,为边缘智能推理再提速10倍

SuperEdge再添国产智能加速卡支持,为边缘智能推理再提速10倍

作者:互联网

作者

寒武纪AE团队,腾讯云容器中心边缘计算团队,SuperEdge 开发者

SuperEdge 支持国产智能加速卡寒武纪 MLU220

SuperEdge 对应的商业产品 TKE Edge 也一直在硬件和加速方面在持续耕耘,不但支持 NVIDIA 系列 GPU的加速,还在 GPU 虚拟,QGPU 化等方面持续发力。本次联合寒武纪对国产智能边缘加速卡进行了支持,以利于用户在边缘进行模型训练和边缘智能推理性能的提升。下面是经过寒武纪 AE 团队和 SuperEdge 开源团队的联合测试,对国产寒武纪边缘计算加速卡兼容性的联合声明。

中科寒武纪科技股份有限公司的边缘智能加速卡 MLU220-M.2和分布式边缘容器管理系统 SuperEdge 与相互兼容,能够对搭载M.2的边缘设备在视频、图像、语音等应用上提供数十倍的加速能力, 在此发表联合声明。

下面给出两个分类网络在 CPU 和 M.2 上的吞吐性能对比。

网络模型 M.2(fps) CPU(fps)
vgg16 184 13
resnet50 417 29

可以看出 vgg16 M.2 是普通 i7-8700K的14倍,Resnet50 也是普通 i7-8700K 的14倍。

其中,CPU 采用的是 Intel(R) Core(TM) i7-8700K CPU @ 3.70GHz

SuperEdge 边缘容器解决方案

SuperEdge 是2020年12月腾讯云联合英特尔、VMware 威睿、虎牙、寒武纪、美团、首都在线发布的基于原生Kubernetes 的边缘分布式容器管理系统。该系统把云原生能力扩展到边缘侧,很好的实现了云端对边缘端的管理和控制,极大简化了应用从云端部署到边缘应用的过程。2021年9月已被 CNCF 基金会接受,成为 CNCF Sandbox项目,由 CNCF 监管和运维。

SuperEdge提供了如下能力:

边缘自治

云边网络往往是弱网络,中间可能是有线、无线、WIFI……连接,可能是4G、5G网络,云边断链是常态。断连时间不定,短则三五分钟,长则数小时、几天,那么如何保证边缘服务不被驱逐,继续提供正常服务呢?
SuperEdge 的边缘自治能力,可以保证云边断连的情况下,边缘服务继续稳定运行,即使边缘节点断电重启,也能自动恢复已经部署到该节点的边缘服务继续运行。

分布式健康检查

SuperEdge 提供的边缘分布式健康检查能力有两个作用:

edge-health 的设计避免了由于云边网络不稳定造成的大量的 Pod 迁移和重建,保证了边缘服务的稳定。

服务访问控制

SuperEdge 自研的 ServiceGroup 实现了基于边缘计算的服务访问控制,主要有三个作用:

云边隧道

边缘节点一般是没有公网IP的,或者在一个NAT网络背后,云端无法直接访问边缘节点,这就使得 kubectl logs、kubectl exec……等云端访问边缘节点的请求完全失灵。
SuperEdge 自研的云边自建隧道(目前支持TCP、HTTP、HTTPS、ssh)打通了不同网络环境下的云边连接问题。实现对无公网 IP 边缘节点的云端统一操作和维护。

批量添加局域网边缘节点及远程运维局域网边缘节点

为了解决生产环境海量边缘节点的接入,SuperEdge 团队特提供了penetrator-controller组件支持了局域网内成千上万边缘节点的接入,并且还可以在云端远程登录到局域网内的边缘节点进行远程运维。

更多的特性可登录 SuperEdge 官网:https://superedge.io 进行查看,合作交流可在社区https://github.com/superedge/superedge 提 Issuse。

MLU220 是什么?

MLU220-M.2 是寒武纪为边缘计算专门打造的加速卡,它在手指大小的标准M.2加速卡上集成了 8TOPS 理论峰值性能,功耗仅为 8.25W,可以轻松实现终端设备和边缘端设备的 AI 赋能方案。支持视觉、语音、自然语言处理以及传统机器学习等多样化的人工智能应用,实现各种业务的边缘端智能化解决方案。

MLU220 具有如下特性:

MLU220 能用来做什么?

MLU220 小巧的体积,强大的算力,使得它可广泛应用于智慧交通、智能电网、智能制造、智能金融等边缘计算场景,下面是一些典型的应用场景的介绍:

智慧交通


为保障道路安全和有序,在城市中的十字路口和关键道路部署多路摄像头及 MLU220 边缘加速卡。
MLU220 可实现对多路摄像头输入图像的解码处理;基于深度学习技术,MLU220 可实现对监控路段的行人,机动车,和非机动车的检测,跟踪及结构化,在交通业务上进一步做到智能车流人流统计,违法抓拍取证,关键人车的识别抓取等,极大提高交通部门效率。

智慧工厂

为打造现代化智能制造的智慧工厂,在厂区工位部署多路摄像头及 MLU220 边缘加速卡。
凭借独立的编解码单元,MLU220 可实现对多路摄像头图像的解码;在强大的算力支持下,MLU220 可实现对工人的检测,姿态识别以及对工件的检测和识别,从而实现检测工人是否在岗,工人操作是否合规以及工件是否按规定摆放等工厂的智能管理。

智慧畜牧


为实现畜牧业生产管理,安全健康监控和养殖环境智能检测,在养殖基地部署多路摄像头和 MLU220 边缘加速卡;通过深度学习技术,实现对种猪的识别,检测,实例分割和跟踪,进一步实现对种猪的点数,健康检测,吃食统计,屠宰辅助等智能养殖技术,减少人力成本,提供养殖效率。

如何在 SuperEdge 上使用寒武纪 MLU220

我们基于 SuperEdge 演示如何使用寒武纪边缘智能加速卡:

用 edgeadm 创建一个 SuperEdge 边缘 Kubernetes 集群

安装寒武纪边缘智能加速卡的插件

使用边缘智能加速卡进行边缘应用加速

在提交边缘相应负载的时候指定 cambricon.com/mlu 来应用寒武纪边缘智能加速卡进行加速, 比如:

apiVersion: v1
kind: Pod
...
spec:
  containers:
  - image: 10.13.30.52:5000/yolov4:latest
    name: yolov4-ctr
    resources:
      limits:
        cambricon.com/mlu: 1 ## 指定加速卡limits
      requests:
        cambricon.com/mlu: 1 ## 指定加速卡requests
...

未来

未来寒武纪和腾讯云会在边缘硬件和边缘云服务上进行更多的合作,为边缘 AI、边缘 IoT,数字化,人工智能……进行软硬件的赋能,并且相应能力在相关的商业产品中对用户提供支持,欢迎关注腾讯云边缘计算云平台 TKE Edge 和寒武纪相关加速商业产品,试用体验边缘更多的加速产品。

关于我们

更多关于云原生的案例和知识,可关注同名【腾讯云原生】公众号~

福利:

①公众号后台回复【手册】,可获得《腾讯云原生路线图手册》&《腾讯云原生最佳实践》~

②公众号后台回复【系列】,可获得《15个系列100+篇超实用云原生原创干货合集》,包含Kubernetes 降本增效、K8s 性能优化实践、最佳实践等系列。

【腾讯云原生】云说新品、云研新术、云游新活、云赏资讯,扫码关注同名公众号,及时获取更多干货!!

标签:10,边缘,SuperEdge,智能,节点,MLU220,加速卡
来源: https://www.cnblogs.com/tencent-cloud-native/p/15788915.html