阿里云数据库运维(阿里云数据库管理)

admin 161 2023-04-18

阿里云服务器优惠多,折扣错,惊喜多,请咨询:www.wqiis.com

本文目录一览:

阿里云的主要功能是什么?

阿里云致力于以在线公共服务的方式,提供安全、可靠的计算和数据处理能力,让计算和人工智能成为普惠科技。

阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业,包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户,以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中,阿里云保持着良好的运宽李行纪录。

阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。

扩展资料:

阿里云主要产品:

1、弹性计算:

云服务器ECS:可弹性扩展、安全、稳定、易用的计算服务

块存储:可弹性扩展、高性能、高可靠的块级随机存储

专有网络VPC:帮您轻松构建逻辑隔离的专有网络

负载均衡:对多台云服务器进行流量分发的负载均衡服务

弹性伸缩:自动调整弹性计算资源的管理服务

资源编排:批量创建、管理、配置云计算资源

容器服务:应用全差带生命周期管理的Docker服务

高性能计算HPC:加速深度学习、渲染和科学计算的GPU物理机

批量计算:简单易用的大规模并行批处理计算服务

E-MapReduce:基于Hadoop/Spark的大数据处理分析服务

2、数据库:

云数据库RDS:完全兼容MySQL,SQLServer,PostgreSQL

云数据库MongoDB版:三节点副本集保证高可用

云数据库Redis版:兼容开源Redis协议的Key-Value类型

云数据库Memcache版:在线缓存服务,为热点数据的访问提供高速响应

PB级云数据库PetaData:支持PB级海量数据存储的分布式关系型数据库

云数据库HybridDB:基于GreenplumDatabase的MPP数据仓库

云数据库OceanBase:金融级高可靠、高性能、分布式自研数据库

数据传输:比GoldenGate更易用,阿里异地多活基础架构

数据管理:比phpMyadmin更强大,比Navicat更易用

3、存储:

对象存储OSS:海量、安全和高可靠的云存储服务

文件存储:无限扩展、多共享、标准文件协议的文件存储服务

归档存储:海量数据的长期归档、备份服务

块存储:可弹性扩展、高性能、高可靠的块级随机存储

表格存储:高并发、低延时、无限容量的Nosql数据存储服务

4、网络:

CDN:跨运营商、跨地域全网覆盖的网络加速服务

专有网络VPC:帮您轻松构建逻辑隔离的专有网络

高速通道:高速稳定的VPC互联和专线接入服务

NAT网关:支持NAT转发、共享带宽的VPC网关

2018年6月20日,阿里云宣布联合三大运营商全面对外提供IPv6服务。

5、大数据:

MaxCompute:原名ODPS,是一种快速、完全托管的TB/PB级数据仓库解决方案。

QuickBI:高效数据分析与展现平台,通虚巧芦过对数据源的连接,和数据集的创建,对数据进行即席的分析与查询。并通过电子表格或仪表板功能,以拖拽的方式进行数据的可视化呈现。

大数据开发套件:提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,拥有强大的OpenAPI为数据应用开发者提供良好的再创作生态

DataV数据可视化:专精于业务数据与地理信息融合的大数据可视化,通过图形界面轻松搭建专业的可视化应用,满足您日常业务监控、调度、会展演示等多场景使用需求

关系网络分析:基于关系网络的大数据可视化分析平台,针对数据情报侦察场景赋能,如打击虚假交易,审理保险骗赔,案件还原研判等

推荐引擎:推荐服务框架,用于实时预测用户对物品偏好,支持A/BTest效果对比

公众趋势分析:利用语义分析、情感算法和机器学习,分析公众对品牌形象、热点事件和公共政策的认知趋势

企业图谱:提供企业多维度信息查询,方便企业构建基于企业画像及企业关系网络的风险控制、市场监测等企业级服务

数据集成:稳定高效、弹性伸缩的数据同步平台,为阿里云各个云产品提供离线(批量)数据进出通道

分析型数据库:在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索

流计算:流式大数据分析平台,提供给用户在云上进行流式数据实时化分析工具

6、人工智能:

机器学习:基于阿里云分布式计算引擎的一款机器学习算法平台,用户通过拖拉拽的方式可视化的操作组件来进行试验,平台提供了丰富的组件,包括数据预处理、特征工程、算法组件、预测与评估

语音识别与合成:基于语音识别、语音合成、自然语言理解等技术,为企业在多种实际应用场景下,赋予产品“能听、会说、懂你”式的智能人机交互体验

人脸识别:提供图像和视频帧中人脸分析的在线服务,包括人脸检测、人脸特征提取、人脸年龄估计和性别识别、人脸关键点定位等独立服务模块

印刷文字识别:将图片中的文字识别出来,包括身份证文字识别、门店招牌识别、行驶证识别、驾驶证识别、名片识别等证件类文字识别场景

7、云安全:

服务器安全(安骑士):由轻量级Agent和云端组成,集检测、修复、防御为一体,提供网站后门查杀、通用Web软件0day漏洞修复、安全基线巡检、主机访问控制等功能,保障服务器安全

DDoS高防IP:云盾DDoS高防IP是针对互联网服务器(包括非阿里云主机)在遭受大流量的DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠

Web应用防火墙:网站必备的一款安全防护产品。通过分析网站的访问请求、过滤异常攻击,保护网站业务可用及资产数据安全

加密服务:满足云上数据加密,密钥管理、加解密运算需求的数据安全解决方案

CA证书服务:云上签发Symantec、CFCA、GeoTrustSSL数字证书,部署简单,轻松实现全站HTTPS化,防监听、防劫持,呈现给用户可信的网站访问

数据风控:凝聚阿里多年业务风控经验,专业、实时对抗垃圾注册、刷库撞库、活动作弊、论坛灌水等严重威胁互联网业务安全的风险

绿网:智能识别文本、图片、视频等多媒体的内容违规风险,如涉黄,暴恐,涉政等,省去90%人力成本

安全管家:基于阿里云多年安全实践经验为云上用户提供的全方位安全技术和咨询服务,为云上用户建立和持续优化云安全防御体系,保障用户业务安全

云盾混合云:在用户自有IDC、专有云、公共云、混合云等多种业务环境为用户建设涵盖网络安全、应用安全、主机安全、安全态势感知的全方位互联网安全攻防体系

态势感知:安全大数据分析平台,通过机器学习和结合全网威胁情报,发现传统防御软件无法覆盖的网络威胁,溯源攻击手段、并且提供可行动的解决方案

先知:全球顶尖白帽子和安全公司帮你找漏洞,最私密的安全众测平台。全面体检,提早发现业务漏洞及风险,按效果付费

移动安全:为移动APP提供安全漏洞、恶意代码、仿冒应用等检测服务,并可对应用进行安全增强,提高反破解和反逆向能力。

8、互联网中间件:

企业级分布式应用服务EDAS:以应用为中心的中间件PaaS平台、

消息队列MQ:ApacheRocketMQ商业版企业级异步通信中间件

分布式关系型数据库服务DRDS:水平拆分/读写分离的在线分布式数据库服务

云服务总线CSB:企业级互联网能力开放平台

业务实施监控服务ARMS:端到端一体化实时监控解决方案产品

9、分析:

E-MapReduce:基于Hadoop/Spark的大数据处理分析服务

云数据库HybirdDB:基于GreenplumDatabase的MPP数据仓库

高性能计算HPC:加速深度学习、渲染和科学计算的GPU物理机

大数据计算服务MaxCompute:TB/PB级数据仓库解决方案

分析型数据库:海量数据实时高并发在线分析

开放搜索:结构化数据搜索托管服务

QuickBI:通过对数据源的连接,对数据进行即席分析和可视化呈现。

参考资料:

百度百科-阿里云

阿里云数据库晚上慢

1、晚上是高峰期:晚上是很多网站、应用的高峰期,用户访问量比较大,服务器负载也就更大,容易造成数据库访问变慢。

2、系统资笑缓源不足搜哪:晚上可能有其他任务在占用服务器的资源,包括CPU、内存、硬盘等,对数据库性能产生影响。

3、数据库优化不充分:数据库的性能优化是一个长期的过程,如果没有做好碰漏模索引优化、SQL语句优化等方面的工作,晚上时访问量增大时,自然会感觉到慢。

阿里云服务对象有哪些?

1.云服务器ECS

云服务器ECS:云计算产品的基本款,几乎每个客户都必买的,云服务器从1核1G到32核64G(随着时间推移,配置会越来越高),各种优惠都有,不同时段有不同的优惠活动,可以参考阿里云惠网;关于服务器配置还可以随意升降配置,可以包年包月,也可以按量随用随买。对于很多小公司及个人,只购买一台云服务器ECS就够用了。对于稍微大一点的企业从性能、安全、加载速度等方面诸多考虑,可能需要购买其他的阿里云产品。

阿里云从云服务器ECS衍生出来很多云服务器系列,例如适用于初级用户的轻量应用服务器,还有为了迎合各种高性能场景的云服务器,诸如GPU云服务器、FPGA云服务器、神龙云服务器等,总之都是云服务器,是企业上云的基本款。

2.云数据库RDS

云数据库:目前主流是MySQL,阿里云提供MySQL、PostgreSQL,SQL Server,MongoDB,Memcache(Redis)等不同的数据库产品。相对于云服务器,云数据库属于非必需品,因为用户完全可以在云服务器上搭建数据库。由于自身业务发展需要,将数据库独立出来,这时候就需要阿里云的RDS云数据库了。

3.负载均衡SLB

负载均衡SLB:对多台云服务器进行流量分发服务。为了应对业务需求,企业往往会有多台云服务器提供服务器,负载均衡就是将用户的请求按照企业自定义的策略转发到最优的服务器。

4.对象存储OSS

如果企业静态文件较多(图片、视频等大文件),可以将大量的存储内容转移独立出来,放到对象存储OSS里面。

5.CDN

内容分发网络,假设企业的云服务器在杭州,那么位于东北地区的用户访问速度就会比较慢,CDN可以解决这个问题,CDN将源站内容分发至最接近用户的节点,使用户可就近取得所需内容,提高用户访问的响应速度和成者嫌功率。

6.专有网络 VPC

大家普遍会给阿里云打上公有云的标签,实际上阿里云可以提供的不仅仅是公有云,还有私有云、混合云等。专有网络VPC可以帮助企业在阿里云构建出一个隔离的网络环境,用户可以自定义IP 地址范围、网段、路由表和网关等,VPC可以提供首者手更安全和灵活的网络环境,为我们构建混合云提供服务。

7.弹性伸缩

传统的企业自建的私有机房是不具有弹性伸缩功能的,假设企业遇到业务波峰,只能通过人为的升级硬件来应对,业务回落时就会造成硬件资源的浪费,而弹性伸缩很好的解决了这个痛点。阿里云弹性伸缩可以管理您的集群,在高峰期自动增加ECS实例,在业务回落时自动减少ECS实例,节省基础设施成本。另外,这个弹性伸缩是免费的。

8.DDoS高防IP

DDoS是目前比较常见的攻击方式,为了抵御DDoS攻击,用户可以通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠。讲真,阿里云的DDoS高防IP还挺贵的。

9.安嫌亮骑士

当用户购买了云服务器ECS后,可能会受到阿里云发送的安骑士漏洞风险短信,安骑士一款主机安全软件,为您提供主机漏洞检测、基线检查、病毒查杀、资产统一管理等功能,为您建立安全运维管理平台。安骑士企业版可以免费试用7天,之后想再使用,是需要付费的。

10.证书服务

我们在访问网站时,会在浏览器的地址栏中看到绿色的锁,意思是该网站是基于HTTPS协议的。前几年网站基本上都是基于http协议,阿里云百科网目前还是基于http协议,相对于http协议,https提供了一层加密服务,会更加安全一些。网站想要实现HTTPS,可以向阿里云申请签发证书服务器,即我们常说的SSL证书。阿里云目前可以申请到免费的SSL证书(Symantec赛门铁克品牌)。

11.态势感知

态势感知说起来还比较高端,有点类似于先知的意思。态势感知会收集企业20种原始日志和网络空间威胁情报,利用机器学习还原已发生的攻击,并预测未发生的攻击,帮客户扩大安全可见性,并集中管理云上资产安全事件。

12.堡垒机

日防夜防家贼难防,开个玩笑哈。企业往往更加关注外部的安全威胁而忽略了企业内部,实际上运维人员误操作或者仿冒运维人员将对企业造成很严重的损失,更有甚至是致命的。例如:携程的宕机12小时事件,由于员工错误操作,删除了服务器代码,据不完全统计,携程宕机带来的直接损失就是每小时160万美金。堡垒机基于协议正向代理实现,对SSH、Windows远程桌面、SFTP等常见运维协议的 数据流进行全程记录,再通过协议数据流重组的方式进行录像回放,达到运维审计的目的。

13.消息队列MQ

说起消息队列,最典型的应用场景就是一年一度的双十一购物节,消息队列是一个真正具备低延迟、高并发、高可用、高可靠,可支撑万亿级数据洪峰的分布式消息中间件。当小仙女们开启大规模的剁手模式时,用户大量并发访问商品数据库,消息队列可以缓解瓶颈,减少页面响应时间,当然还有其他方面的功能优势,咱这里阿里云百科网就不过多赘述,双十一就是MQ的典型应用场景,大概就是这么个意思。

14.域名

域名与主机ip绑定,通过域名解析访问到主机上的服务,主要是简单易记,相当于别名。

15.虚拟主机

新手建站一般都是从虚拟主机开始的,无需自己配置web环境,简单易管理,价格也便宜。

16.企业邮箱

企业邮箱就是以公司域名为后缀的邮箱,企业自建的邮件系统。目前各大互联网大佬,例如:阿里云、腾讯云、网易等都有提供免费版的企业邮箱,如果想解除诸多限制,可以选购阿里云的企业邮箱付费版。

17.云解析DNS

DNS就是将你的域名解析到服务器的IP上,一般来讲域名解析是免费的,免费版就够用了。

wordpress如何使用阿里云OSS与云数据库?

wordpress我们可以通过阿里云OSS调用插件来与数据库进行传输,插件推荐WPJAM。

wordpress跟云数据库进行对接的话,我们只需要在云数据腊没库里设置好数据库名、用户名、密码,然后如果你是新装扮宏wordpress的话,直接对接数据库就可以了,如果你是后期迁移数据库的话,那么你需要将你的数据库先备轮缺纳份并下载到本地,或者使用相关数据库连接软件进行数据库数据的传送。

这里给大家推荐一篇图文教程,方便大家使用阿里云OSS与云数据库来配置wordpress。

数据库在资源充足的表现

如何应对数据库CPU打满?最优解在这里...

阿里云数据库

2020-04-26 16:48·字数:4996·阅读:129

如何用好数据库,调校数据库使其发挥最优的性能?

如何快速诊断和应对各种原因导致的突发数据库性能问题?

如何以最低资源成本满足业务需求?

......

这些复杂的运维难题最优解到底是什么?

今天(4月22日)15:00数据库自治服务DAS重磅发布会

现场为你揭晓答案!

数据库自动驾驶时代一触即发点击这里

即可预约直播

今天提前为大家揭秘数据库自治服务DAS的一个创新功能 —— AutoScale,基于数据库实例的实时性能数据作为输入,由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议,使数据库服务具备自动扩展存储和计算资源的能力。

01背 景

为业务应用选择一个合适的数据库规格,是每个数据库运维同学都会经常面临的一个问题。若规格选的过大,会产生资源浪费;若规格选的过小,计算性能不足会影响业务。

通常情况下,运维同学会采用业务平稳运行状态下,CPU可处于合理水位(例如50%以下)的一个规格(如4核CPU配8G内存)并配一个相对富余的磁盘规格(如200G)。

然而在数据库应用运维同学的日常生活里,线上应用流量突增导致数据库资源打满的情况时有发生,而引发这类问题的场景可能多种多样:

1、新业务上线,对业务流量预估不足,导致资源打满,如新上线的应用接入了大量的引流,或基础流量比较大的平台上线了一个新特性功能。

2、不可预知的流量,如突发的舆论热点带来的临时流量,或某个网红引发的限时抢购、即兴话题等。

3、一些平时运行频次不高,但又偶发集中式访问,如每日一次的上班打卡场景,或每周执行几次的财务核算业务。这类业务场景平时业务压力不高,虽已知会存在访问高峰,但为节省资源而通常不会分配较高的规格。

当上述业务场景突发计算资源不足状况时,通常会让运维同学措手不及,严重影响业务,如何应对“数据库资源打满”是运维同学常常被挑战的问题之一。

在数据库场景下,资源打满可分为计算资源和存储资源两大类,其主衫闭历要表现:

1、计算资源打满,主要表现为CPU资源利用率达到100%,当前规格下的计算能力不足以应对;

2、存储资源打满,主要表现为磁盘空间使用率达到100%,数据库写入的数据量达到当前规格下的磁盘空间限制,导致业或搜务无法写入新数据;

针对上述两类问题,数据库自治服务 DAS 进行了服务创新,使数据库服务具备自动扩展存储和计算资源的技术能力,应对上述的问题。

DAS AutoScale基于数据库实例的实时性能数据作为输入,由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议,使数据库服务具备自动扩展存储和计算资源的能力。

接下来,本文将对DAS AutoScale服务的架构进行详细的介绍,包括技术挑战、解决方案和关键技术。

02技术挑战

计算节点规格调整是数据库优化的一态源种常用手段,尽管计算资源规格只涉及到CPU和内存,但在生产环境进行规格变配的影响还是不容忽视,将涉及数据迁移、HA切换、Proxy切换等操作,对业务也会产生影响。

业务有突发流量时,计算资源通常会变得紧张甚至出现CPU达到100%的情况。通常情况下,这种情况会通过扩容数据库规格的方式来解决问题,同时DBA在准备扩容方案时会至少思考如下三个问题:

1.扩容是否能解决资源不足的问题?

2.何时应该进行扩容?

3.如何扩容,规格该如何选择?

解决这三个问题,DAS同样面临如下三个方面挑战:

2.1. 挑战一:如何判别扩容是否能够解决问题?

在数据库场景下,CPU打满只是一个计算资源不足的表征,导致这个现象的根因多样,解法也同样各异。例如业务流量激增,当前规格的资源确实不能够满足计算需求,在合适的时机点,弹性扩容是一个好的选择,再如出现了大量的慢SQL,慢SQL堵塞任务队列,且占用了大量的计算资源等,此时资深的数据库管理员首先想到的是紧急SQL限流,而不是扩容。在感知到实例资源不足时,DAS同样需要从错综复杂的问题中抽丝剥茧定位根因,基于根因做出明智的决策,是限流,是扩容,还是其它。

2.2. 挑战二:如何选择合适的扩容时机和扩容方式?

对于应急扩容时机,选择的好坏与紧急情况的判断准确与否密切相关。“紧急”告警发出过于频繁,会导致实例频繁的高规格扩容,产生不必要的费用支出;“紧急”告警发出稍晚,业务受到突发情况影响的时间就会相对较长,对业务会产生影响,甚至引发业务故障。在实时监控的场景下,当我们面临一个突发的异常点时,很难预判下一时刻是否还会异常。因此,是否需要应急告警变得比较难以决断。

对于扩容方式,通常有两种方式,分别是通过增加只读节点的水平扩容,以及通过改变实例自身规格的垂直扩容。

其中,水平扩容适用于读流量较多,而写流量较少的场景,但传统数据库需要搬迁数据来搭建只读节点,而搬迁过程中主节点新产生的数据还存在增量同步更新的问题,会导致创建新节点比较慢。

垂直扩容则是在现有规格基础上进行升级,其一般流程为先对备库做升级,然后主备切换,再对新备库做规格升级,通过这样的流程来降低对业务的影响,但是备库升级后切换主库时依然存在数据同步和数据延迟的问题。因此,在什么条件下选择哪种扩容方式也需要依据当前实例的具体流量来进行确定。

2.3. 挑战三:如何选择合适的计算规格?

在数据库场景下,实例变更一次规格涉及多项管控运维操作。以物理机部署的数据库变更规格为例,一次规格变更操作通常会涉及数据文件搬迁、cgroup隔离重新分配、流量代理节点切换、主备节点切换等操作步骤;而基于Docker部署的数据库规格变更则更为复杂,会额外增加Docker镜像生成、Ecs机器选择、规格库存等微服务相关的流程。因此,选择合适的规格可有效地避免规格变更的次数,为业务节省宝贵的时间。

当CPU已经是100%的时候,升配一个规格将会面临两种情况:第一种是升配之后,计算资源负载下降并且业务流量平稳;第二种是升配之后,CPU依然是100%,并且流量因为规格提升后计算能力增强而提升。

第一种情况,是比较理想的情况,也是预期扩容后应该出现的效果,但是第二种情况也是非常常见的情形,由于升配之后的规格依然不能承载当前的业务流量容量,而导致资源依然不足,并且仍在影响业务。如何利用数据库运行时的信息选择一个合适的高配规格是将直接影响升配的有效性。

03解决方案

针对上述提到的三项技术挑战,下面从DAS AutoScale服务的产品能力、解决方案、核心技术这三个方面进行解读,其中涉及RDS和PolarDB两种数据库服务,以及存储自动扩容和规格自动变更两个功能,最后以一个案例进一步具体说明。

3.1. 能力介绍

在产品能力上,目前DAS AutoScale服务针对阿里云RDS数据库和PolarDB数据提供存储自动扩容服务和规格自动变配服务。

其中,针对即将达到用户已购买规格上限的实例,DAS存储自动扩容服务可以进行磁盘空间预扩容,避免出现因数据库磁盘满而影响用户业务的发生。在该服务中,用户可自主配置扩容的阈值比例,也可以采用DAS服务预先提供的90%规格上界的阈值配置,当触发磁盘空间自动扩容事件后,DAS会对该实例的磁盘进行扩容;

针对需要变更实例规格的数据库实例,DAS规格自动变配服务可进行计算资源的调整,用更符合用户业务负载的计算资源来处理应用请求,在该服务中,用户可自主配置业务负载流量的突发程度和持续时间,并可以指定规格变配的最大配置以及变配之后是否回缩到原始规格。

在用户交互层面,DAS AutoScale主要采用消息通知的方式展示具体的进度以及任务状态,其中主要包括异常触发事件、规格建议和管控任务状态三部分。异常触发事件用于通知用户触发变配任务,规格建议将针对存储扩容和规格变配的原始规格和目标值进行说明,而管控任务状态则将反馈AutoScale任务的具体进展和执行状态。

3.2 方案介绍

为了实现上面介绍的具体能力,DAS AutoScale实现了一套完整的数据闭环,如图1:

图1 DAS AutoScale数据闭环

在该闭环中,包含性能采集模块、决策中心、算法模型、规格建议模块、管控执行模块和任务跟踪模块,各模块的具体功能如下:

性能采集模块负责对实例进行实时性能数据采集,涉及数据库的多项性能指标信息、规格配置信息、实例运行会话信息等;

决策中心模块则会根据当前性能数据、实例会话列表数据等信息进行全局判断,以解决挑战一的问题。例如可通过SQL限流来解决当前计算资源不足的问题则会采取限流处理;若确实为突增的业务流量,则会继续进行AutoScale服务流程;

算法模型是整个DAS AutoScale服务的核心模块,负责对数据库实例的业务负载异常检测和容量规格模型推荐进行计算,进而解决挑战二和挑战三的具体问题;

规格建议校验模块将产出具体建议,并针对数据库实例的部署类型和实际运行环境进行适配,并与当前区域的可售卖规格进行二次校验,确保的建议能够顺利在管控侧进行执行;

管控模块负责按照产出的规格建议进行分发执行;

状态跟踪模块则用于衡量和跟踪规格变更前后数据库实例上的性能变化情况;

接下来,将分别针对DAS AutoScale支持的存储扩容和规格变配两个业务场景进行展开介绍。

!图2 存储扩容方案]( "lADPD26eLFb47F_NAW3NBDg_1080_365.jpg_720x720q90g.jpg")

存储扩容的方案见图2,主要有两类触发方式,分别是用户自定义触发和算法预测触发。其中,算法将根据数据库实例过去一段时间内的磁盘使用值结合时序序列预测算法,预测出未来一段时间内的磁盘使用量,若短时间内磁盘使用量将超过用户实例的磁盘规格,则进行自动扩容。每次磁盘扩容将最少扩大5G,最多扩大原实例规格的15%,以确保数据库实例的磁盘空间充足。

目前在磁盘AutoScale的时机方面,主要采用的是阈值和预测相结合的方式。当用户的磁盘数据缓慢增长达到既定阈值(90%)时,将触发扩容操作;如果用户的磁盘数据快速增长,算法预测到其短时间内将会可用空间不足时,也会给出磁盘扩容建议及相应的扩容原因说明。

图3 规格变配方案

规格变配的方案见图3,其具体流程为:首先,异常检测模块将针对业务突发流量从多个维度(qps、tps、active session、iops等指标)进行突发异常识别,经决策中心判别是否需要AutoScale变配规格,然后由规格建议模块产生高规格建议,再由管控组件进行规格变配执行。

待应用的异常流量结束之后,异常检测模块将识别出流量已回归正常,然后再由管控组件根据元数据中存储的原规格信息进行规格回缩。在整个变配流程结束之后,将有效果跟踪模块产出变配期间的性能变化趋势和效果评估。

目前规格的AutoScale触发时机方面,主要是采取对实例的多种性能指标(包括cpu利用率、磁盘iops、实例Logic read等)进行异常检测之后,结合用户设定的观测窗口期长度来实现有效的规格AutoScale触发。

触发AutoScale之后,规格推荐算法模块将基于训练好的模型并结合当前性能数据、规格、历史性能数据进行计算,产出更适合当前流量的实例规格。此外,回缩原始规格的触发时机也是需要结合用户的静默期配置窗口长度和实例的性能数据进行判断,当符合回缩原始规格条件后,将进行原始规格的回缩。

3.3核心技术支撑

DAS AutoScale服务依赖的是阿里云数据库数据链路团队、管控团队和内核团队技术的综合实力,其中主要依赖了如下几项关键技术:

1.全网数据库实例的秒级数据监控技术,目前监控采集链路实现了全网所有数据库实例的秒级采集、监控、展现、诊断,可每秒实时处理超过1000万项监控指标,为数据库服务智能化打下了坚实的数据基础;

2.全网统一的RDS管控任务流技

对话阿里云李飞飞:关于云原生数据库的五大预判

作者:王慧贤

数据存储、数据分析、数据安全......如今,围绕“数据”的话题越来越多,离人们的生活也越来越近。

从陌生到熟悉,数据不仅“出圈”,甚至已然站在了C位。去年,中央发布的《关于构建更加完善的要素市场化配置体制机制的意见》中明确表示,继土地、劳动力、资本、技术后,数据成为第五大生产要素。

步入信息化时代后,数据库、操作系统与中间件作为计算机最基础的三大软件,支撑着企业的正常运行。

当数据成为生产要素后,必然会迎来爆发式增长,企业的数据存储和处理需求将进一步释放。更重要的是,疫情加快了数字化转型的脚步,更加速了企业的上云速度。

从信息化到数字化,时代的变革,总会带来商业世界的变化。如何在云原生架构下使用数据库,成为企业的痛点和云厂商的机会,亚马逊AWS的CTO Werner Vogels曾多次强调:“数据库是云计算的终极之战。”

在数智化时代,云原生到底意味着什么?云原生数据库和传统数据库相比,核心优势是什么?是否把数据库搬上云就是云原生?基于这些问题,雷锋网与阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞展开一场对话。

国产云原生数据库,摆脱「切肤之痛」

如今,数据库的商业世界,因为云的出现与发展,分成了两大派系。

一派是以Oracle为代表的传统商用数据库,一派是以国外AWS、国内阿里云为代表的云原生数据库,去“IOE革命”下的产物。

其实,早期较为火热的数据库种类有三种,层次式数据库、网络式数据库和关系型数据库。

在《浪潮之巅》一书中,作者吴军写下了这样的观点:“Oracle 的兴起很大程度上靠的是它最早看到关系型数据库的市场前景,并且在商业模式上优于 IBM。”

因此,在云原生数据库“入世”之前,数据库的天下一直是Oracle的,国内大部分互联网公司都不得不采用Oracle+IBM小型机+EMC的模式来维持正常运营。

高昂的费用,使得对于数据库需求较大的互联网巨头“忍无可忍”。

2009年,阿里巴巴的Oracle RAC 集群节点数达到了创记录的20个。可由于Oracle并没有弹性扩展的功能,只能按照峰值流量购买小型机和数据库,导致阿里将业务上涨带来的大部分利伏局润,都支付给了Oracle。

第二年,阿里便开始走上了去“IOE”之路,根据开源MySQL搭建了AliSQL,缺扮让并顺利缺顷经过了淘宝双11的考验,国产云原生数据库算是正式摆脱了“切肤之痛”,逐渐受到市场的真正认可。

另一边,国外的AWS在2015年公布了基于云计算的自研数据库Amazon Aurora。Aurora是一个关系型数据库,可以跨3个可用区域复制6份数据,其最大的特性就是高性能和高可用性。

云计算巨头的入局,让云原生数据库在国内外一步步成为主流。据Gartner预测,到了2021年,云数据库在整个数据库市场中的占比将首次达到50%,到2023年,75%的数据库都要跑在云平台之上。

关于云原生数据库,随着逐步的出圈,也让人们关心的焦点从“是啥?”转变为“还能解决哪些问题?”

但云原生数据库存在着数据孤岛的问题,无法打通多个数据系统的情况下,企业在数据加工和数据管理上就会“压力较大”,甚至在数据安全方面还存在隐患。

传统数据仓库一般基于T+1数据集成构建离线数仓,以支撑企业各项分析与服务。传统方案不但会影响线上业务稳定性,且难以支持企业的实时需求。

因此,在李飞飞看来,云原生数据库已经走到2.0阶段。这个阶段要解决的问题,就是上述存在的痛点。

9月26日,在阿里云数据库创新上云峰会上,阿里云发布了首个一站式敏捷数据仓库解决方案。该方案结合一站式数据管理平台DMS及云原生数据仓库AnalyticDB(简称:ADB),实现了库仓一体的技术架构,提供在线数据实时入仓、T+1周期性快照、按需建仓等能力,数据延时低至秒级,持续赋能业务在线化,使企业的在线数据可以释放出更大的价值。

相较于传统方案,阿里云一站式敏捷数据仓库解决方案有4大核心优势:

1、对业务侧影响小,不会因为数据汇聚集中和实时加工影响业务侧正常运行,CPU、内存占用低于5%;

2、事务顺序和数据准确性有保障,且处理链路短,支持在线数据实时处理落仓,效率更高。数据传输效率100m/s,数据延时在10秒内;

3、支持复杂实时数据加工、计算逻辑;

4、低代码操作,能够大大降低实时数仓的构建难度,提升构建效率的同时,支撑企业数字化转型过程中的各类实时场景。

除了实时统计分析场景外,企业为满足周期性数据分析需求,需建设周期性全量快照。

传统数仓的周期性全量集成方案会对生产业务造成稳定性影响、全量集成时效性差、且无法满足客户针对任意时间点进行数据回溯的业务诉求。

针对T+1周期性集成场景,一站式敏捷数据仓库解决方案支持基于拉链表的T+1全量数据快照,用户通过简单几个步骤,即可按需生成各种周期的全量或增量快照。

此外,业务还可按需进行任意时间点的数据回溯,以快速解决数据异常问题。

谈起未来数据库的发展趋势,李飞飞提到以下五点:

1、云原生+分布式一定是数据库的标配,分布式已经是必选项。分布式数据库由多个相互连接的数据库组合而成,面向用户则是以单个数据库的形态出现。云原生分布式数据库具备易用性、高扩展性、快速迭代、节约成本等特征,从资源池化到弹性扩展,再到智能运维,再到离在线一体化,解决企业用户的核心诉求。

2、AI for DB(database,指数据库)和 DB for AI 将是主流趋势。用AI将数据库运维管控智能化,尤其在云原生+分布式这个前提下更重要,因为数据库不仅是内核的能力弹性高可用、可拓展性,更重要的是部署后应用和运维的复杂度要大大降低。在数据库里,面对越来越多非结构化的数据,分析能力十分重要。

3、数据的安全可信,在今天这个大环境下变得愈发重要,如何确保整个数据库系统,在处理数据全链路过程中提供加密能力、多方安全计算能力、隐私保护的能力,也是很重要的趋势。

4、多模数据处理能力将越来越重要。比如,新型数据库多模态的处理能力,在新能源 汽车 企业打标签、智能电池化预测等应用场景中,将发挥越来越重要的作用。

5、一份数据,多个数据处理引擎:实现仓库一体、仓库联动、仓库打通,数据之间无缝流转。

以上判断,也从侧面反映出阿里云数据库的走向,这点毋庸置疑。但除此之外,业界最关心的,还有开源。

近半年,国内很多厂商相继提出开源战略,背后缘由显而易见,为了打造生态。就在今年的阿里云峰会上,阿里云智能总裁、达摩院院长张建锋(花名行癫)将2021年阿里云的发展关键词归纳为:做好服务、做深基础、做厚中台、做强生态。

做好服务与生态,成为如今厂商们不约而同的目标,而开源,就是最好的选择。

当雷锋网问到:“未来,阿里云数据库会不会把所有能力都开源?”这一问题时,李飞飞给到的回答是:“不会。”

之所以有这样的回答,是因为对于开源,他有着一些判断和看法。

李飞飞表示,这些部分,本就是阿里云数据库的商业化版本。

事实上,业界大多数的数据库厂商都不会针对自身的核心能力开源,如TiDB的核心管控组件、TiFlash。

与像MongoDB,、Cassandra、CouchDB这些以开源起家的数据库厂商不同,开源只是阿里云数据库的战略,不是阿里云数据库的命脉。

前几年,有业内人士表示,在面向开源时,国产数据库首先需要解决信任以及开源知识产权等问题。“开源会让厂商更加认真思考版权还有专利的问题,事实上,选择开源后,对于数据库厂商提出了更高的要求。”

李飞飞认为,开源只是一种选择,数据库开源成功并不代表着商业化就能够成功,不开源也不能代表厂商不先进。

更准确的说,开源只是一种有效手段。

最终,阿里云数据库希望客户能够通过开源版本把阿里云数据库产品技术快速用起来,并能够参与到技术产品的迭代过程中,在一些高阶能力上,借鉴团队专业能力和阿里云的服务能力,成为良好的商业合作伙伴,这是李飞飞以及阿里云数据库对于开源的一些基本思考。雷锋网雷锋网雷锋网

上一篇:阿里云服务器和虚拟主机区别(阿里云云虚拟主机怎么用)
下一篇:虚拟主机试用30天(虚拟主机体验)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~