产业互联网时代下海量数据处理问题(数据的海量性)

admin 171 2022-08-01

阿里云服务器优惠多,折扣错,惊喜多,请咨询:www.wqiis.com

产业互联网作为移动互联网的未来, 在 5G+ 云 +AI 互融的时代,行业应用如何有效利用 5G、AI 和云计算技术的优势,云原生边缘计算提供了一条可行的途径。

云原生边缘计算发展现状

产业互联网时代下海量数据处理问题(数据的海量性)

万物互联时代,终端设备产生的数据将爆炸性增长,据 IDC 研究显示,到 2020 年将产生 500 亿的终端与设备联网,其中 50% 的数据将会在靠近数据源的边缘侧进行分析、处理,以满足业务的低时延诉求。

按照用户 / 终端到中心云的距离,大体上可以划分 3 个“时延圈”,如下图所示:

第一个“圈”是现场边缘,覆盖 1~5ms 时延范围,算力以推理为主,主要面向自动驾驶,工业互联网等实时性业务,典型的现场边缘站点包括边缘服务器,华为智能边缘小站 Atlas 500 等。

第二个“圈”近场边缘,覆盖 5~20ms 时延范围,算力以渲染为主,同时还有一部分推理,主要面向视频场景,典型的近场边缘站点包括 CDN 节点、5G MEC 等。

第三个“圈”则是传统的公有云覆盖范围,用于承载未下沉部分的业务,主要面向大规模场景,例如海量的数据存储、挖掘、AI 深度神经网络模型的训练等。

然而,边缘计算还仍然存在着诸多挑战,例如:

边缘节点 CPU、MEM 等资源受限、硬件资源异构等;

如何与云上业务、AI 平台协同;

海量边缘设备管理和运维,边缘应用的生命周期管理等;

当网络或节点出现故障时,边缘应用需要离线自治能力,确保仍然能够正常运行。

云原生以轻量化的容器技术作为基础平台,资源占用少、快速扩容、高效的应用生命周期管理,基于微服务架构,可扩展性、故障可恢复性,持续交付等特性,非常适合边缘计算场景。

Kubernetes 因通用的应用抽象定义、松耦合的架构、易扩展的 API 框架,已经成为云原生的事实标准,但是还不能完全解决上述边缘计算的诸多挑战,面对边缘计算的轻量化诉求,仍显厚重,因此原生团队针对边缘计算场景对 Kubernetes 进行了增强,最终打造了 CNCF 基金会第一个边缘计算项目——KubeEdge,其优势在于:

云边协同:云边一致的应用使用体验,设备的接入和管理,端边云统一管理和运维界面;

高速云边通信:WebSocket + 消息封装,大幅减少通信压力,网络受限情况下仍能正常工作;

边缘离线自治:边缘节点元数据持久化,实现节点级离线自治,边缘节点故障恢复无需与管理面通信,快速恢复;

极致轻量:重写 Kubelet 模块,极致轻量化(~70mb 内存占用),支持 CRI 集成 Docker、Containerd、CRI-O,优化 runtime 资源消耗;

5G + 云 + AI 如何互融?

5G 解决的是产业互联网时代的海量数据传输问题,云计算解决的是大规模计算问题,5G 和云是密不可分的一对。人工智能、大数据、区块链等为代表的云计算技术与 5G 为代表的通信技术如何互相融合、相互促进?云原生边缘计算技术是一个可行的途径。

5G 的特点可以总结为“一高两低三大”:高可靠性,低功耗、低时延,大连接、大覆盖、大容量,这些特点将催生大量创新业务模式,主要包括以下三大应用场景:

eMBB,增强型移动宽带,应用于对带宽有极高需求的业务,如 4K/8K 高清视频、AR/VR/ 云游戏等。

mMTC,大规模机器类通信,应用于连接密度要求较高的业务,如智慧城市、环境监测、智能家居等。

uRLLC,超可靠低时延类通信,应用于对时延极其敏感的业务,如无人驾驶、工业自动化控制、远程医疗等。

基于云原生的边缘计算,是支撑创新业务模式的最佳选择。例如中心云提供海量算力、存储和统一管控平台,5G MEC 边缘云提供 5G 流量的接入和推理渲染算力,将上述新型业务作为边缘应用,利用云原生的技术快速灵活下发到 MEC 中,数据本地快速闭环,快速推理或渲染,处理结果上传中心云进行全局的分析、处理和优化,以此实现 5G+ 云 +AI 智能互融。具体方案如下图所示:

MEC 是网络部署位置和协议栈方面的第一跳入口,部署到 MEC 的边缘应用可享有数据本地化、流量卸载本地分流快速闭环等优势,可有效降低业务处理时延、减少转发设备跳数 / 性能,从而有效降低业务成本等。通过云原生边缘计算技术,将云和 5G 进行有机的结合,5G 边缘云还可以具有如下优势:

边云协同,中心云对地理离散的边缘应用进行集中化的统一管控和协同,应用可以云边、边边无缝迁移和弹性伸缩,云边、边边网络自动打通等。

边缘智能,可以将 AI 算法下沉到边缘,实现云端训练、边缘推理可极大提升边缘设备的业务处理和智能分析的能力,有效地解决传统端 - 云模式下数据传输效率低、带宽需求量大、分析效率低下、业务处理时延高等诸多问题,让带宽和时延不再成为 AI 使能业务的瓶颈。

完善的云生态,中心云上现有的生态,如智慧园区、智能交通、工业制造、水务水利、智慧商超等多个行业和场景的算法和应用,可以方便的通过云原生边缘计算的方式部署到边缘。

5G + AI + 云 + IEF 最佳实践

智能边缘平台 IEF ,作为 KubeEdge 的商业版,同样是基于容器和 Kubernetes 生态构建,提供具备极致轻量、边云协同的边缘计算服务,除上文中所述的云原生能力外,还具有如下增加特性:

高速消息通道:保证云边之间高速、可靠、有序、安全的进行通信。

离线自治:边缘节点和应用故障快速感知,应用在边缘集群中自动调度,快速迁移,秒级恢复。

边云协同:云边一致的使用体验,应用一次构建到处运行,应用根据负载在云边自适应调度和弹性部署,还可将 AI 算法类、IoT 类、时序数据库、流计算等多种应用从延伸到边缘。

边缘鲲鹏 + 昇腾深度整合:与边缘专用 AI 推理芯片昇腾 310,华为自研 ARM 处理器深度结合,为 AI 容器提供高性能、低成本的边缘算力,性价比提高 3 倍。

开放的边缘生态:基于智能边缘市场,提供边缘应用和硬件的认证、发布,第三方用户快速订阅和推送。

在某智慧园区中,基于 IEF 和 5G MEC,人员识别和机器人的自动巡检相结合,可动态的识别陌生人。AI 人员识别应用利用中心云的算力,在 ModelArts 中快速进行迭代训练,然后将人员识别算法和应用程序通过 Docker 打包成一个容器镜像,通过 IEF 一键下发到 MEC 边缘云,视频流通过 5G 大带宽、低时延网络上传到 MEC 中,直接进行视频智能分析,完成识别。该方案具有如下优势:

云边协同,中心云集中管控,统一运维,中心云训练,边缘云推理;

针对移动和布线不便的场景,5G 具有天然的优势,无需为布线投入资金;

按需使用,容器在 MEC 上可以动态伸缩,平滑扩容,更加高效的利用资源。

基于 5G 的人员识别效果如下图所示:

总  结

云原生边缘计算技术,因其天然的轻量化和可移植性,可以将应用下发到多种具有一定计算能力的设备上,包括 5G MEC;同时凭借强大的边云协同的能力,必将成为 5G + 云 + AI 相互融合时代的重要加速引擎。

上一篇:Centos7 安装 Mysql8教程(centos7修改ip地址方法)
下一篇:什么情况下需要服务器?影响服务器租用的因素有哪些?(服务器租用有什么用)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~