华为云nosql数据库(华为云数据库使用)
本文目录一览:
- 1、如何玩转NoSQL数据库
- 2、简述什么是nosql数据库,并列举两种常见的nosql数据库名称及其特点
- 3、企业数据上云必有一战,华为云12.12云数据库2折起
- 4、NoSQL 数据库和对象云存储的区别
如何玩转NoSQL数据库
如何玩转 NoSQL数据库?作者:IT专家网
Weather公司CIO Bryson Koehler整理出了MongoDB,Riak和Cassandra等NoSQL数据库的特性。他指出这其中最重要的特性是“NoSQL不会限制住你”。
Weather公司,致力于天气报告和天气预报业务,其并不缺乏数据,当然也不缺乏数据管理工具。但它为什么需要三种不同的NoSQL数据库?
最近,我向Weather 公司的CIO Bryson Koehler提出了这个疑问,除了公司的CIO,Bryson Koehler还是其他很多业务单元的孵化者,包括Weather Channel,WeatherFX,Weather Underground,和Intellicast等。Weather公司每天获取和处理着约20万亿字节数据,对外提供当前全球天气状况,并为航空公司,紧急服务,货运商,公用事业,保险,以及在线天气网站和天气应用程序的用户提供天气预报服务。每天需求增加了数十亿的天气数据请求,并且预期响应时间要在10毫秒左右。
Riak是Weather 公司的后台NoSQL数据库,服务于公司的事务性存储公用网络(SUN)数据获取平台,它运行在多个亚马逊网络服务(AWS)的可用区域上,并以每小时15次的频率捕获超过20亿气象数据信息,。所以,Riak具有明确的处理规模,但该公司也使用Cassandra以及新近添加的MongoDB数据库,为Weather.com 上IOS和Android移动应用程序服务。
Weather 公司使用了不同的产品,Koehler解释说,因为“不同的工具有不同的优势。
Cassandra,它服务于Weather 公司以及全球消费者使用的第三方天气应用的API数据:“我们的数据分发平台每秒处理数十万的事务,我们发现Cassandra在用于全球分发数据上是一个很棒的解决方案,并且在[数据库]读取方面体现出很高的可用性 “。它本质上为全球各地消费者所使用的数据服务,包括Weather 公司和第三方的天气应用程序。
MongoDB,它提供了Weather.com网站和移动应用程序的中间层缓存功能:“离开我们的核心API,我们还没有全部Weather.com内容,所以MongoDB是容器和分发站,为Weather.com以及Android和iOS上的移动应用程序服务。Mongo有很多好处,这些好处基于其内建的JSON格式以及灵活性上。“
Riak,用于消费气象数据和观测,包括来自世界各地的图片和视频等:“我们喜爱Riak因其优秀的数据摄取能力,而且是以一种全球分布式的方式来实现。这对于从全球分布式平台上获取数据的入站式数据库是一个真正可靠的选择。
我曾听说Datastax,Basho和Couchbase的高管贬低MongoDB的可扩展性,但MongoDB指向大规模部署,在Facebook对超过200万台移动设备上应用程序提供支持,在eHarmony公司,MongDB每天处理着数十亿的潜在比赛预约。据Koehle所述,MongoDB为Weather.com和Weather.com移动应用程序处理着“每天十亿交易”,“毫无疑问,你可以通过配置和部署Mongo来处理大批量的交易数据。”
尽管如此,Koehler承认,他将“很乐于看到MongoDB继续使全球集群和多位置[功能]更加无缝化且易于使用。” 这些属于全球性的分布式集群,复制和负载平衡是Cassandra和Riak众所周知的功能。
从规模讨论的角度来看,很少有公司达到Weather公司的经营规模。易于开发,架构灵活性和JSON数据处理使得MongoDB的成为世界上最流行的NoSQL数据库。这就是为什么微软和IBM都进行了MongoDB的模仿,如微软的Azure DocumentDB和IBM的 Cloudant,而不是Cassandra和Riak。
Weather公司可以从三个NoSQL标准降低至两个的过程中得到巩固,Koehler说,但公司没有准备好这么做。
“由于我们构造了由许多不同的数据解决方案组成的网状结构,我们目前的环境已过于复杂,”他说。“我们希望给团队一些自由的空间,让我们可以了解所有选择的利弊,但你将会看到一些整合。”
到了那个时候,迁移将不在是一件难事,因为“关于NoSQL数据库最重要的事情是,你不会被困在其中,” Koehler说。“如果你的架构和编码正确,从一个数据库迁移到另一个并不难。随着模式的自由以及数据转存技术的发展,无论前者是一个key-value存储或其他什么形式,转储数据都将十分容易。“
对特定产品进程自定义编码的复杂的存储过程已经一去不复返了,Koehler说,但关于“结构化和编码正确”还有很多需要考虑的地方?这样做是为了避免特殊供应商提供的工具和功能可能让你身陷其中。他举了亚马逊网络服务“(AWS)的消息服务为例。
“你不必让服务在云中运行,”他解释说。“你可以只部署自己的RabbitMQ的环境,而不是陷于其中,所以你可以将一个原先部署在AWS 上的应用程序转而部署在谷歌计算云服务上。无论它是数据平台,存储环境,或云计算环境,都要小心别让自己局限在一个仅由一个供应商提供的小范围空间内“。
转载
简述什么是nosql数据库,并列举两种常见的nosql数据库名称及其特点
NoSQL太火,冒出太多产品了,保守估计也成百上千了。
互联网公司常用的基本集中在以下几种,每种只举一个比较常见或者应用比较成功的例子吧。
1. In-Memory KV Store : Redis
in memory key-value store,同时提供了更加丰富的数据结构和运算的能力,成功用法是替代memcached,通过checkpoint和commit log提供了快速的宕机恢复,同时支持replication提供读可扩展和高可用。
2. Disk-Based KV Store: Leveldb
真正基于磁盘的key-value storage, 模型单一简单,数据量不受限于内存大小,数据落盘高可靠,Google的几位大神出品的精品,LSM模型天然写优化,顺序写盘的方式对于新硬件ssd再适合不过了,不足是仅提供了一个库,需要自己封装server端。
3. Document Store: Mongodb
分布式nosql,具备了区别mysql的最大亮点:可扩展性。mongodb 最新引人的莫过于提供了sql接口,是目前nosql里最像mysql的,只是没有ACID的特性,发展很快,支持了索引等特性,上手容易,对于数据量远超内存限制的场景来说,还需要慎重。
4. Column Table Store: HBase
这个富二代似乎不用赘述了,最大的优势是开源,对于普通的scan和基于行的get等基本查询,性能完全不是问题,只是只提供裸的api,易用性上是短板,可扩展性方面是最强的,其次坐上了Hadoop的快车,社区发展很快,各种基于其上的开源产品不少,来解决诸如join、聚集运算等复杂查询。
企业数据上云必有一战,华为云12.12云数据库2折起
每年的Gartner全球数据库魔力象限都会对未来三年的市场进行预测,而2020年的预测相比于2019年的预测出现一个显著的变化,那就是全球75%数据库将被部署或迁移到云平台的时间表提前了一年——从2023年提前到了2022年。进入2020年底,我们将迎来数据库行业的世纪之战,企业数据上云与治理面临着重大抉择:本地数据库与云数据库的PK。特别是受2020全球疫情的影响,越来越多的企业正加速数字化转型,云数据库以及云上数据治理的时代将很快到来。
2020年12月12日双十二之际,华为云打出了云数据库2折起的大幅折扣,包括:MySQL等热门云数据库 2折起、迁移上云再加送6个月;GaussDB系列、数据管理服务DAS企业版等热销产品低至5折;数据加速与治理产品中也有Redis 4折的惊喜优惠。2020年又是华为云推出全场景数据库云服务GaussDB的第一年,而在2020年底打出云数据库2折起的大力度促销,彰显了华为云开打2021企业数据上云之战的决心。
2020年的一场疫情,让很多企业都将数字化转型提速,特别是让本来需要几年才能下的数字化转型决心和决定缩短到几个月;而新基建的推出,更刺激了基于数字技术的融合基础设施的大规模建设。无论是加速的数字化转型、急于上线的各种在线和互联网业务,还是筹建中的融合基础设施新基建,都为CIO们带来了头痛的问题:数据库的选型。
那么CIO怎么解决云数据库的选型难题呢?华为云数据库业务总裁苏光牛认为,CIO选型数据库,最常见的其实没有变化,就是稳定性和性能,以及云技术出现之后的扩展性和灰度等能力。但对于很多企业,特别是有 历史 遗留系统的,都涉及一个古老但无法回避的问题就是:生态。也就是如果招聘的DBA多是搞PostgreSQL,那么企业怎么能选择MySQL?反之亦然。或者当熟悉某个数据库的DBA干了几十年,又怎么转向另外一种数据库?
转型是必然的。数字化智能化升级,必然要求数据库跟上,苏光牛认为生态必须是开放的,否则就从一个火坑跳入另外一个火坑。选型之后,CIO都普遍担心,迁移的工作量有多大?CIO都需要有能自动化转换或者评估的工具,能把非确定的工作量转化为确定性的计划。然后就需要考虑迁移是否会中断或者中断多久,业务切换需要多久,对于在线迁移来说还要可控制的切换时间;随之,要考虑数据是否会丢失,因为从一个系统迁移到另一个系统,不可能100%覆盖所有的功能测试,没有覆盖到数据是否就丢失了,当然还要考虑数据安全等问题。
最后,必然要考虑成本以及让数据“活”起来。苏光牛认为,控制成本的最好方式是存储的融合,计算和存储分离的架构;而让数据活起来,就是要让存储的数据在不同系统之间流动起来,通过大的存储资源池解决数据孤岛问题,当然更好的数据迁移工具也能配合解决问题。
2020年11月,在Gartner发布的2020全球云数据库魔力象限中,华为云凭借GaussDB系列产品首次晋级全球顶级云数据库行列。Gartner对华为云的评价是:华为云专注于提供全面的混合堆栈,构建了全面、稳健的产品组合,能够满足跨云和本地环境的全方位数据管理用例,其许多产品与云基础架构紧密集成,以提供增强的性能和可靠性。Gartner还认为,华为在全球电信和网络行业有很强的影响力,很多为管理华为全球行业业务而构建的数据管理能力,面向政企行业普遍可用。
2020年下半年,华为云宣布GaussDB数据库战略升级为华为云数据库全场景服务,以及发布GaussDB云数据库服务GaussDB(for MySQL)、GaussDB(openGauss)以及GaussDB NoSQL,而GaussDB NoSQL非关系型数据库则支持MongoDB、Cassandra、时序InfluxDB、KV数据库Redis等,具有多模式数据管理能力。
就GaussDB来说,通过计算和存储分离实现分布式处理,在一套架构下,可以对接MySQL、PostgreSQL、MongoDB、Cassandra等多种开源数据库引擎,实现这些开源数据库的良好商用性能。GaussDB以华为云为底座,保证了良好可扩展性、弹性、安全可靠等性能要求,特别是通过底层统一的智能化DFV分布式存储架构,满足企业上云对于云数据库的各种需求。
在数据迁移方面,华为云推出的数据库和应用迁移 UGO,是一款专注于异构数据库对象迁移和应用迁移的专业化工具,而华为云数据复制服务DRS,支持更大数据量、更长时间等多种复杂迁移场景,支持数据库上云和云上业务数据实时回传至云外的混合云架构。UGO+DRS形成了完整的迁移产品形态。
GaussDB是为政企打造的数据库一站式上云解决方案,提供全场景数据管理业务、全开放生态和安全可信,彻底解决政企以及互联网行业在数据库选型方面的痛点,真正做到数据库选型安心、迁移放心、管理省心。
苏光牛表示:“华为将持续战略投入数据库,布局全球7大区域囊括1000+数据库专家与人才。此次战略升级是华为云数据库积极构建高安全、高可靠、高性能的全场景云服务,拥抱开源生态的具体举措,华为云GaussDB数据库会持续打造多元生态服务,全方位满足客户的需求,加速政企客户数字化创新发展。”
正如Gartner所观察到的,如今华为云数据库业务在亚太地区,尤其是中国市场实现规模化部署,其中超过一半的客户来自公共管理、电信、金融保险等行业。华为云数据库,特别是GaussDB能够被广大政企用户认可,这首先来自于经历了华为内部的千锤百炼。从2007年开始,就因为华为的无线、网络、交换机等产品而发展起来了GaussDB,从2009年开始基于存算分离的架构而考虑分布式数据库的设计,2015年起基于广泛认知的生态如MySQL或者PostgreSQL等以及NoSQL数据库,逐步推出了分布式的数据库,同时还打造华为自己的openGauss生态。
2020年,华为云数据库品牌更加清晰,GaussDB是华为自有数据库品牌,既兼容MySQL、PostgreSQL等广泛认知的生态,又有自有的生态openGauss,openGauss于2020年6月正式对外开源。苏光牛强调,华为公司将长期投入GaussDB的开发,基于混合云和公有云的方式,联合ISV等伙伴一起,全方位服务好客户。
总结下来,GaussDB有四大特色:第一,开放的生态,拥抱开源生态的同时,打造华为自有生态。华为云认为未来一定是开放的生态,开放的生态才能保护客户投资,避免从一个封闭体系走向另外一个封闭体系。
第二,存算分离的架构,数据库的稳定性是第一位的,特别是交易型数据库,华为云数据库最核心的特色是存储的稳定性。华为云GaussDB基于与企业存储相同的分布式存储架构,经过千行百业的磨炼而不仅仅是单一的某种交易流量,另外各种存储能力如重删、压缩、跨AZ等特性让快速备份恢复、性价比都具备非常好的优势。
第三,安全合规,GaussDB经过了ICSL的安全认证,以及很多白盒的代码层面的认证。特别是随着欧洲GDPR等标准的实施,以及政企对数据安全性要求的增加,华为云GaussDB的代码级、架构级别安全设计,以及多年来在电信级高标准行业的锤炼,经历了很多实际客户的严苛考验,让政企在使用数据库的时候更加放心。
第四,软硬件全栈协同。华为云具备软硬件全栈研发的实力,无论存储底座和RDMA高速网络,还是虚拟化和容器之上的性能调优,以及GuestOS上的协议栈优化,特别是基于云技术之后的全栈优化和云服务能力,更加是华为云的优势。
当然,更为重要的是,云数据库采用云的模式实现了数据库运维管理的集中化,极大简化了数据库的安装、部署、配置、迁移和优化,大幅提升运维管理效率,让政企可以投入更多精力聚焦在核心业务创新上。
总结而言: 企业数据上云和云上数据治理将成为2021年政企数字化转型的重中之重,各大技术厂商都在争夺云数据库市场份额。以华为云全场景数据库GaussDB为代表的新一代云数据库,将满足政企数字化转型的全面需求。特别是以华为云和华为云Stack为底座,GaussDB可以跨公有云以及企业本地部署,其技术符合云及企业本地的要求,同时具有华为云的高性能、高可用、高安全等保证,可以说政企数字化转型的全场景保障!(文/宁川)
NoSQL 数据库和对象云存储的区别
1、使用冗余,每个人的好友信息都在数据库中有存储,就是你说的记录一对一关系
2、数据缓存到内存,数据访问很快
3、状态信息修改异步,比如一个人登陆了,他的好友不是马上就知道,中间间隔几秒也没有关系
4、数据可能不放在关系数据库中,可能使用nosql数据库,比如mongodb,bigtable,cassandra等
发表评论
暂时没有评论,来抢沙发吧~