云平台安全-数据安全相关技术介绍(实现云安全的技术)
195
2022-08-22
存算分离,让美图处理海量数据的资源利用率提升40%
内容简介:
随着业务数据量指数级增长,美图的IDC大数据中心机房空间有限,设备老旧,采购扩容周期长,无法快速扩展支撑业务的增长,同时IDC大数据计算资源和存储资源耦合,无法按计算和存储不同的增长规律分别动态扩缩容,整体资源利用率低,数据存在多份拷贝,存储资源冗余,另外在IDC大数据中心机房自建大数据集群,采用开源软件,需要投入大量人力维护开源软件的功能Bug、可靠性和稳定性等问题,大数据集群的资源扩缩容、网络带宽调整、大数据本地磁盘的损坏,都需要IT运维,运维工作量大,人力投入成本高。
美图采用了大数据存算分离方案,统一数据湖,实现了一份数据自由流动,避免重复拷贝,支持多元计算和AI创新,数据快速变现,数据文件存储规模无限扩展,打破单集群限制,解决运维痛点,同时对计算与存储资源进行解耦,存储不足扩存储,计算不足扩计算,面对数据激增的浪涌弹性伸缩,资源灵活部署,计算存储资源利用率整体提升40%。
内容大纲:
1、智能数据湖技术趋势发展;
2、MRS智能数据湖架构&存算分离关键技术介绍;
3、美图大数据搬迁存算分离案例解读。
听众收益:
1、了解业界数据湖技术发展趋势;
2、了解MRS智能数据湖关键技术;
3、了解 互联网行业数据湖实践方案。
发表评论
暂时没有评论,来抢沙发吧~