华为云数据仓库(华为仓库管理)

admin 144 2022-11-11

阿里云服务器优惠多,折扣错,惊喜多,请咨询:www.wqiis.com

本文目录一览:

华为突破分布式数据库和存储技术,打通数字化转型“雄关漫道”

2019年,我们将进入数字化转型的攻关期。所谓“攻关期”即数字化转型2.0阶段,需要攻坚企业关键业务上云和数字化转型改造的课题。在一份市场调查公司IDC的报告中指出:IDC自2014年提出数字化转型以来,看到企业在数字化转型层面已经投入了大量人力物力,但是效果并不理想,有一些企业已经成功屹立在潮头,有一些企业在向上游进发,还有一些企业只能在浪潮的挟裹中被动前行。

对于企业来说,数字化转型是“雄关漫道”。IDC认为,目前阶段来看,企业亟待解决的是数字化能力提升,包括:与业务的深入结合能力;数据处理和挖掘能力;以及IT技术运营和管理能力。特别是数据处理和挖掘能力,因为数字化转型推进企业从以流程为核心向以数据为核心转型,对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提,对数据全生命周期的管控治理是释放数据价值的保障。而随着数字化转型引入大量新技术而导致IT复杂度变高,企业IT技术运营和管理能力是提升企业“IT生产力”的关键。

攻关数字化转型的“雄关漫道”,需要一个具备融合、智能、可传承三大特性的数字平台。这是2019年3月华为与IDC联合推出的《拥抱变化,智胜未来—数字平台破局企业数字化转型》白皮书所提出的观点。融合主要指把传统技术和创新技术相结合;智能主要指平台智能化和智能化能力输出;可传承主要指解耦、功能复用、可配置等理念打造的架构。而承载这三大观点的,就是新一代分布式企业级技术。

2019年5月15日,华为发布了业界首款支持ARM架构的新一代智能分布式数据库GaussDB以及分布式存储FusionStorage 8.0,作为新一代数据基础设施,诠释了具备融合、智能、可传承三大特性的数字平台。华为常务董事、ICT战略与Marketing总裁汪涛在发布会上表示,千行百业正在加速智能化进程,越来越多的企业已经意识到数据基础设施是智能化成功的关键。华为围绕计算、存储和数据处理三个领域重定义数据基础设施,加速迈向智能时代。

今天所讨论云和工业互联网等概念的背后是一个新时代的到来,这就是体系架构大迁徙。传统企业级技术是在单体应用和单机环境中,保证数据存储、调用等操作的高可靠、高可用、高稳定,特别是满足金融级事物处理的ACID(原子性、一致性、隔离性和耐久性)要求,为企业关键业务提供数据管理支撑。随着企业技术向云架构迁移,数据库技术也面临转型。

2018年,基于云计算技术的分布式数据库成为了业界的热点。简单理解,云计算技术就是把“单机”环境替换为由X86服务器机群所组成的分布式计算环境。原先由几台小型机完成的计算任务,要分散到上百甚至上千台X86服务器上,而且还可能跨数据中心操作,挑战可想而之。特别是在线支付等金融级业务,不能在断网或网络连接有问题时出错,也不能因响应速度慢而影响用户体验。

2018年8月,中国支付清算协会与中国信息通信研究院联合举办了“金融分布式事务数据库研讨会”,与业界厂商和用户共商核心数据库分布式转型之路,同时发布了《金融分布式事务数据库》白皮书。金融分布式事务数据库的工作推进,为分布式数据库进入企业关键业务系统,提供了产业化支撑。而华为作为企业ICT解决方案供应商,早在2012年就开始研发面向大数据分析的数据仓库,在基于传统关系型数据库SQL引擎和事务强一致性等基础上,进行了分布式、并行计算的改造,历时6年打造了面向PB级海量数据分析的分布式数据库。

在OLAP数据仓库之外,华为与行业用户合作了面向OLTP的分布式事务型数据库研发。2017年,华为与招商银行合作成立了分布式数据库联合创新实验室,研发具有高性能企业级内核、完整支持分布式事物、满足金融行业对数据强一致要求、单机事物处理能力要达到每分钟百万级别等的OLTP分布式数据库。

本次发布的GaussDB数据库新品包括:联机事务处理OLTP数据库、联机分析处理OLAP数据库、事务和分析混合处理HTAP数据库。而华为GaussDB数据库将AI技术融入数据库设计、开发、验证、调优、运维等环节,可实现基于AI的自调优、自诊断自愈、自运维,让数据库更高效、更智能,引领数据库架构的发展。

更进一步,本次发布的GaussDB系列数据库是业界首款支持ARM芯片的分布式数据库。华为推动计算架构从以X86+GPU为主的单一计算架构到以X86+GPU+ARM64+NPU为主的异构计算架构快速发展。基于X86架构,华为引入AI管理和智能加速能力,率先推出了智能服务器FusionServer Pro;基于ARM64打造了业界性能最强的TaiShan服务器;基于Ascend芯片的Atlas智能计算,实现了业界首个端边云协同的人工智能平台。而GaussDB可充分利用并融合ARM、X86、GPU、NPU等多种异构算力组合,大幅提升数据库性能。

汪涛强调,作为全球首款AI-Native数据库,GaussDB有两大革命性突破:第一,首次将人工智能技术引入数据库的全生命周期流程,实现自运维、自管理、自调优和故障自诊断。在交易、分析和混合负载场景下,基于最优化理论,首创深度强化学习自调优算法,把业界平均性能提升60%。第二,支持异构计算,充分发挥X86/ARM/GPU/NPU多样性算力优势,最大化数据库性能,在权威标准测试集TPC-DS上,华为GaussDB排名第一。GaussDB还支持本地部署、私有云、公有云等多种场景。

在以云计算为代表的分布式计算环境中,数据管理解决方案除了需要分布式数据库外,为了更好的扩缩容以及满足多样化数据存储需求,计算与存储分离已经成为分布式数据库设计的主要架构。分布式云化架构,就是要支持计算、存储分离和多租户等架构设计要求。

GaussDB已经从数据库层面实现了高可用、高可靠、高稳定的分布式数据库,本次发布的FusionStorage 8.0则是分布式存储架构,创新地实现一套系统同时支持块、文件、对象、HDFS协议,1套存储支持4类存储能力,适用于全业务场景混合负载,最终让“一个数据中心一套存储”成为可能。

IDC发布的《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2018年第四季度》显示,2018年,软件定义存储市场达到了54.9%的同比增长。软件定义存储在中国整体存储市场的占有率稳步上升,分别达到了22.1%的市场占有率。华为凭借文件解决方案在政府、广电和电信等行业得到认可,在2018年中国软件定义存储市场排名第一。

FusionStorage 8.0采用华为ARM-based处理器鲲鹏920加速,使IOPS提升 20%,结合华为AI Fabric无损网络,时延进一步降低15%。基于华为在计算、网络和存储领域多年的芯片和算法积累,FusionStorage 8.0在SPC-1的性能测试中,单节点性能达到了16.8万IOPS以及1ms以内时延,成为承载企业关键应用的新选择。

此外,通过华为云的云上训练及本地AI芯片,FusionStorage 8.0将智能管理贯穿业务使用的全生命周期,如业务上线前对存储资源的规划,使用过程中的风险预判及故障定位,大幅提升存储效率,帮助行业客户应对智能时代的数据新挑战。

汪涛在发布会上强调,新一代智能分布式存储FusionStorage 8.0通过重定义存储架构,从“Storage for AI”和“AI in Storage”两个维度实现效率大幅提升,引领存储智能化。首先,“Storage for AI”通过融合共享,让AI分析更高效。其次,“AI in Storage”率先将AI融入存储全生命周期管理,从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维。

辽宁移动就采用了华为FusionStorage。作为辽宁省内最大的移动通信运营商,辽宁移动一直在 探索 先进的存储方案在自身IT系统的应用。由于5G的快速发展,辽宁移动关键数据库的应用也向云化方向发展,分布式存储也要满足其可靠性和高性能要求。华为在深入分析辽宁移动需求后,首先在边缘开发测试业务小规模试点分布式存储,进行了大量的实验和测试后性能和可靠性都达到了预期,最终决定将全部业务迁移至FusionStorage。该方案通过采用双活、可写快照、端到端DIF等特性,顺利完成Billing、经营分析、B2B等系统从老旧存储至FusionStorage的搬迁工作,助力辽宁移动的存储架构迈入新的 历史 阶段。

值得一提的是,华为分布式数据库与华为分布式存储深度结合,把数据库的操作下沉到存储节点,极大提升了分布式数据库的性能。利用新的网络技术和人工智能技术,华为帮助用户提升数据中心的吞吐量,提升网络应用的可伸缩性,并且能自动调优。

除了推出新一代突破性的分布式数据库和存储技术外,华为也积极与客户、伙伴在数据库与存储领域,从行业应用、平台工具、标准组织和社区等多个层面共建开放、合作、共赢的产业生态。在行业应用层面,华为与软通智慧、神州信息、东华软件、易华录、用友政务、亚信国际等独立软件开发商长期合作;在平台和工具层面,华为与Tableau、帆软、ARM、Veritas等合作伙伴联合创新;在标准组织和社区层面,华为深度参与OpenSDS、中国人工智能产业联盟、OCP、OpenStack、CNCF基金会等组织和社区的建设。

总结来说,华为全线分布式数据库和分布式存储产品的发布,是华为具备融合、智能、可传承三大特性数字平台的最新成果。华为分布式数据库与分布式存储结合,能消除企业各业务系统数据孤岛,构建面向行业场景的数据建模、分析和价值挖掘能力,对多源异构的数据进行汇聚、整合和分析,形成统一的全量数据和数据底座,实现数据价值挖掘和共享。而基于AI的智能化,可对基础设施进行高效的管理,为行业应用开发和迭代赋能,全面帮助企业突破关键应用上云的“雄关漫道”。(文/宁川)

华为EI大数据套餐是什么,购买后得到的是云主机吗

购买后提供华为云数据仓库服务(DWS),是华为云推出的企业级云上数据仓库产品,其分布式并行数据库内核历时6年打造而成,经历了云下上百个商业局点的实际检验,具有高可靠、高性能、低成本、安全、易用等特点。DWS的正式商用,标志着将华为分布式OLAP数据库技术全面推向用户,助力企业用户轻松构建云上数据仓库,快速将数据资产变现。

华为数据库再下一城

华为在 IT 的底层架构,逐步搭建起自己的基础架构, 建立华为生态。华为对数据库的开发经历了长达 15年左右的时间。华为的数据库产品系列命名为GaussDB——高斯数据库,基于 PostgreSQL9.2 开发。

华为数据库产品类型,包括了事务型数据库OLTP、分析型数据库OLAP,同时还研发出混合负载数据库HTAP 产品。Oracle 的 OLTP数据库产品比较难替代。华为的 OLTP 数据库是通过与工商银行、招商银行等大公司合作,来不断完善的。

现在除了甲骨文和微软,亚马逊的 Aurora 数据库、阿里的飞天数据库、华为的 Gauss 数据库都是开源的。

2022年4月,中国邮政储蓄银行新一代个人业务分布式核心系统上线。该系统基于鲲鹏硬件底座、openGauss开源数据库与GaussDB分布式云数据库共同打造的全新个人业务核心系统。

华为鲲鹏处理器是基于ARM架构,华为全自研的一款处理器,它包括五个方面:通用计算、存储、传输、管理和AI计算。华为的关系型数据库 openGauss 是一款极其受欢迎的开源数据库,openGauss内核深度融合华为在数据库领域多年的经验,完美结合企业级场景需求。

华为GaussDB是一个企业级分布式数据库,将AI能力植入到数据库内核的架构和算法中,为用户提供更高性能、更高可用、更多算力支持的分布式数据库。GaussDB基于统一架构,支持关系型与非关系型数据库引擎,满足政企全场景的数据智能管理需求。

2022年4月,光大银行基于华为云GaussDB(DWS)建设的数仓平台,成为国内首家使用GaussDB产品实现数据仓库平台大集中的银行。

这次数仓平台迁移量达5000多亿条数据,自2021年9月开始,耗时六个月,3个月完成代码转译核对,3个月完成自动化比对的技术方案,。迁移完成后,华为云GaussDB(DWS)承载全行超过3.5万个批量作业,整体批量时间缩短了两个小时。

2020年,光大银行和华为软件技术有限公司签署合作备忘录,推动金融 科技 领域服务的数字化转型。2021年,光大银行入驻华为服务号,成为首家入驻华为服务号提供综合性金融服务的全国性股份制商业银行。

工商银行携手华为云,打造金融数据创新应用实践新标杆

工于至诚,行以致远。

1984年,中国工商银行(以下简称工行)正式成立。如今,以建设“数字工行”为目标,工行全面布局大数据、人工智能等创新领域,在 探索 新业务、采用新技术等方面持续 探索 践行。目前,工行已实现行内外海量金融数据资产要素的融合,全面支持客户营销、产品创新、风险控制等多领域智能化创新,服务实体经济的金融供给能力大幅提升。而在这背后,华为云大数据有着浓墨重彩的一笔。

始于数据的业务创新

在8月31日举行的华为云TechWave大数据专题日上,中国工商银行软件开发中心总经理助理刘承岩表示,“工行在大数据创新应用方面的 探索 ,就是一段不断使用新技术、提升自身数据驾驭能力的历程。”

从数据角度来看,工行经历了自动化、数据化、智能化和生态化四个阶段。在每个阶段里,工行都采用了当时最领先的技术来支撑业务需求与发展,始终走在业界前列。智能化阶段,工行正式开启与华为的合作,引入了华为云FusionInsight智能数据湖解决方案中的大数据产品,搭建了自主可控的大数据云平台,真正将数据智能服务由事后快速演进到事前、事中的阶段。

生态化阶段,工行进一步深化与华为的合作,实现大数据云平台与华为云Stack云基础设施的融合,进一步提升大数据云平台的高可用和弹性灵活扩展等能力,全面支撑起数字平台的生态化建设,更好地服务于数字工行的转型。

刘承岩介绍,通过综合运用大数据和人工智能技术,工行实现了风险数据整合,在金融同业中首家推出了大数据风险信息服务产品融安e信,服务了260家金融机构和4.6万家企业。大数据的应用还改变了传统意义上“客户找服务”的金融服务模式,实现了“金融服务找用户”,通过渠道交易行为数据,工行建立精准客户画像,通过数据算法判断客户偏好,进而提供针对性的金融产品与服务。

工行与华为的合作始于大数据,双方进行了一系列的联合创新。目前,工行已经有大量的数据放到了基于华为云FusionInsight构建的金融数据湖中,FusionInsight MRS大数据、GaussDB(DWS)数据仓库等产品承载了关键的金融数据业务,实现不同场景下的运营、管理,以及风控。

风控系统是金融领域的“生命线”。然而随着金融 科技 的飞速发展,传统的风控已经无法满足当前的需求,势必需要新的技术手段介入。大数据风控系统就是在这种背景下诞生的新技术,在华为全力支持下,工行的风控管理一直保持着业界一流水准。

大数据平台提供的超高频实时计算能力,帮助工行率先在行业内实现了实时反欺诈防控,在不影响客户体验的情况下,实现了对每笔交易的实时欺诈防控,为客户避免损失约90亿元。此外,通过全行风险信息的整合共享,以及前中后模型服务的沉淀与开放,工行实现了金融业务端到端的风险防控,真正实现了一点出险、全面防控的目标。

刘承岩介绍,工行引入华为云的另一个目的,是希望将原来在IaaS上的一些业务系统迁入到华为云Stack,并结合华为云FusionInsight智能数据湖方案,使之成为数据的底座和业务平台的底座。这将是一次规模空前的云迁移,整体迁移规模将达到75%以上。

目前,双方正在加快推进工行大数据技术平台与华为云的融合,构建混布式容器化和存算分离架构,进一步提升大数据平台的高可用、稳定性、资源弹性灵活扩展能力,更好地支撑工行全数据存储、全数据挖掘、全算法应用、全场景布署的需要。这个过程预计需要一两年的时间,而在所有工作完成之后,一朵华为云支撑起工行整个业务和数据体系的运行与管理。

刘承岩认为,大数据技术平台融合了云计算、大数据和人工智能等技术,为工行数据中台生态的创新应用,提供了强大存储、算力、算法的保障,是工行数据智能体系的技术底座。

存贷是银行业的核心业务之一。过去的贷款发放,需要做很多的核验工作,而现在借助大数据、人工智能等技术,工行基本可以做到秒批秒贷,以便捷、高效的金融服务,助力实体经济的稳健发展。

在高复杂性的人工智能领域,工行与华为的合作正在不断加深。目前,工行的数据分析师和业务专家们正在极大受惠于华为云FusionInsight智能数据湖解决方案的系列产品,以及“普惠AI”的理念,而未来在数据隐私等更深入的领域,双方还会进一步进行 探索 与合作。

面向未来,工行将不断加强与华为云的合作,通过云计算、人工智能、区块链、IoT等创新技术,更好地利用数据这一新的生产要素,从 社会 的痛点、难点入手,做好金融数据中台的建设工作,不断提升自身服务实体经济的能力。

2020年9月23-26日,华为将于上海举办第五届HUAWEI CONNECT,携手来自全球的业界思想领袖、商业精英、技术大咖、先锋企业、生态合作伙伴、应用服务商以及开发者等,共同探讨行业数字化的发展方向,展示ICT领域的领先技术、产品和解决方案,分享成功实践,构筑开放、共赢的 健康 产业生态,共创行业新价值。

关于华为云数据仓库和华为仓库管理的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注维启网络。

上一篇:沧州网站优化(沧州网站建设优化公司)
下一篇:华为云电脑安卓版(华为云电脑下载手机版)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~