阿里云云原生内存数据库Tair(开源内存数据库)

admin 211 2022-11-26

阿里云服务器优惠多,折扣错,惊喜多,请咨询:www.wqiis.com

本文目录一览:

基于阿里云打造「云原生」Web应用——「懒猪行」Web应用开发实践

作者:阿里云MVP 刘远程

背景

『懒猪行』专注于境外自由行S2B业务,涉及分销、终端用户服务、供应链等多个服务环节,随着业务规模的不端增加,我们一直在 探索 Web应用开发的最佳实践,以加快Web应用的迭代效率,为B/C端用户创造更多价值。

云原生

近几年,Spring Cloud为代表的微服务架构越来越火热,吸引了大量创业公司『入坑』。微服务系统的开发与单体应用的开发相比,从团队组织、运维、开发方式等多个方面带来了颠覆式的变化。从2018年开始以Istio、SOFAMesh等为代表的Service Mesh方案逐渐走上舞台,并被称为『下一代微服务架构』。

如果把以容器技术和Service Mesh为基础的IT架构定义为云原生架构,那么Dubbo、Spring Cloud为代表的分布式架构将是促进云原生架构诞生的『中间产物』。

就在18年,云原生计算基金会(CNCF)为云原生技术重新定义:

Cloud native technologies empower organizations to build and run scalable applications in modern, dynamic environments such as public, private, and hybrid clouds. Containers, service meshes, microservices, immutable infrastructure, and declarative APIs exemplify this approach.

『云原生技术帮助公司和机构在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。』

These techniques enable loosely coupled systems that are resilient, manageable, and observable. Combined with robust automation, they allow engineers to make high-impact changes frequently and predictably with minimal toil.

『这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术可以使开发者轻松地对系统进行频繁并可预测的重大变更。』

这种新颖架构方式,不仅提供了完善的软件持续交付链方案,也为我们的应用组织方式带来了巨大的想象空间,甚至在将来可能给整个软件行业带来颠覆式的革命。有一点是显而易见的:原本强耦合在一起的应用被拆分,变身成为能够实现完整子集功能的可插拔式微服务,通过有机的组织让其与其它微服务共同对外提供服务;就如同组装 汽车 的发动机和座椅等,它可以来自全球供应链不同的厂商。以云原生的设计哲学来总结,云原生应用具备微服务, 健康 报告,遥测数据,弹性声明式(非反应式)等特征。

云原生所带来的效果非常明显,但完整的实践确是很容易让人知难而退,因为单Kubernetes一项,从入门到掌握也需要花费3个月左右的时间。但幸运的是,阿里云等公有云平台已经为我们准备好了容器服务(Kubernetes版)产品,并支持通过Kubernetes进行应用的容器化管理。

所有的微服务都和 Envoy sidecar 集成在一起,被集成服务所有的出入流量都被 sidecar 所劫持,这样就为外部控制准备了所需的 Hook,然后就可以利用 Istio 控制平面为应用提供服务路由、遥测数据收集以及策略实施等功能。

懒猪行的架构设计(简化)

在新的架构中,使用了大量的阿里云产品,这鉴于我们过去的经验,阿里云产品在运维上为我们节省了不少精力。

以上架构,是我们走向『云原生』的第一步,距离成熟还有非常大的发展空间,云原生的发展也在发展的起步阶段。按架构,把所有需要持久化的数据,如:文件、图片、数据库等存储到阿里云OSS、RDS及Redis产品,而应用则运行在以K8s管理调度的容器集群中。

阿里云DevOps工具链

阿里云在云原生架构整个生命周期都提供了完善的支持:

部署到Kubernetes_部署到Kubernetes_选择部署方式_用户指南_CodePipeline-阿里云

推荐阅读:

[1] Service Mesher社区:ServiceMesher · Service Mesh|服务网格中文社区

[2] Kubernetes Handbook:序言 · Kubernetes Handbook - Kubernetes中文指南/云原生应用架构实践手册 by Jimmy Song(宋净超)

MVP招募进行中,点击「链接」

阿里云肖力:原生安全打造云上绿洲

2020年9月17日-18日,一年一度的云栖大会在云上如约而至。疫情加速数字化转型大背景之下,云原生以一种高能见度为各行业带来了一个更动态多变、更具效率和生命力的架构。 云原生安全具有什么优势,能否解决线下业务场景的安全困局? 作为阿里巴巴第一位安全工程师,阿里巴巴集团副总裁、阿里云安全总经理肖力,发表了以“提速云原生,创新安全力”为主题的演讲。

肖力认为,上云是提升安全水平的最佳选择,创新的云原生安全,有能力为企业用户打造“云上绿洲”。 数据被更有逻辑性的存储,从物理数据中心安全、到核心云平台安全、以及和云平台无缝结合的云安全能力……企业原本需要独立、完整承担的安全责任,转移到阿里云平台,低耗损的同时拥抱的是更高等级的安全。

云原生安全的“上游思维”

云安全的经验很稀缺,并且很昂贵,阿里巴巴为此付出了多年努力,总结了业界领先的最佳实践。基于云的安全建设,最核心的思维转变在于:区别传统安全只能被动做出反应,基于云的基础架构改变,让安全开始有能力在上游解决问题。 如果还带着传统安全思维,来构建新环境中的安全控制,无疑大大弱化了云的优势。

云原生安全,拥有从硬件层透穿的最高等级安全能力,打造全环境、全生命周期的可信环境。用户视角看到的层级也将发生变化,安全产品随之演进变化。用户基于云原生能力构建企业安全架构,只需要选择服务去达成自己的安全目标,安全产品不再外挂,安全能力被打通。

云上是一个更安全的“绿洲”环境,它可以自动化帮助用户解决掉同质化、繁杂的安全问题,让用户把精力集中在解决更有价值的问题上。

以下为本次演讲原文的整理

这次的疫情对各行各业影响都非常大,今年上半年各行业都在加速数字化进程。一方面,更多的行业用户在拥抱云计算、拥抱阿里云;另一方面,我们看到网络安全已经进入企业最关注、最需要解决的问题前三名。很多政府客户、金融客户在阿里云平台上,用云安全的核心能力去构建下一代的安全架构。接下来我们会着重给各位介绍,当前阿里云安全在哪些技术领域上的深入、哪些云原生的安全能力,来帮助企业更好地解决过去无解的安全问题。

2小时扩容1万台服务器

安全服务化默认覆盖

2月份的疫情,钉钉承担了数百万人在线教育和数亿人在线办公的责任 。 面对指数级爆发的流量,钉钉只花了2个小时时间,扩容了1万台服务器。 这种速度在传统架构中,安全实现全覆盖是一项不可能完成的任务。 攻击能够导致钉钉的在线会议、在线视频中断,用户的隐私数据泄漏风险随之提升。钉钉通过云原生的安全服务化能力,快速地介入了云抗D、云WAF等组合安全防护手段,保障了钉钉稳定的运行。

试想一下,如果在传统安全线下场景,钉钉这样的企业要部署这么大规模的安全设备,每个设备都需要上架、调试,包括串联在链路上面起到防御效果,我相信至少需要1个月时间。那么云安全服务化,能够让整个业务在小时级别,安全能力快速地扩容,提供实时服务,为业务保驾护航。

安全能力与基础设施融合

0赎金解决勒索软件问题

传统企业安全架构在链路上面有大量的设备,是一个非常复杂的网络。大型企业在线下甚至拥有上百台安全设备串联在网络上,可想而知这里面会遇到多大的整个安全设备的链路联通性问题。这会导致全面管理的问题,以及安全能力的数据孤岛问题。 而云上的安全能力可以直接整合在云产品中。 例如云原生安全能力和CDN和负载均衡SLB进行进一步的融合,用户使用的时候,无论是接入性,还是全面的管理,安全能力都能得到进一步的提升。

阿里巴巴自身有一个系统叫统一接入层。在这一层当中,我们将安全的能力融入到了这个系统当中,所有经济体、业务系统在上线的时候只需要统一接入这个系统,安全的能力就随之而来。这种新型的安全对业务方来说,也是非常的方便、便捷,减轻很大的工作量。我还想再分享另一个案例, 这半年勒索软件其实攻击是非常猖獗的,增幅高达72%, 攻击者通过加密企业的数据进行获利,已经成为企业最主要的威胁之一。

国际知名的GPS公司佳明(Garmin)最近发生了一起安全事故,某一天全球的用户无法使用、服务中断。勒索软件将佳明的相关数据进行了加密,并且开出上千万美金的赎金金额。最终,佳明公司通过交付赎金解密了数据,从而恢复服务,但损失惨重。

阿里云的防勒索方案,是将安全能力和整个基础设施云产品进行整合,对勒索软件进行检测和防护。 用户可以利用容器镜像快照能力来打造这个安全方案。 就算检测和防御的能力遇到了挑战,有一些未知的蠕虫加密了用户的数据,阿里云防勒索方案用户可以通过镜像快照的方式快速地恢复数据,而不用去交赎金。

我们也看到有很多这样的场景,安全能力和技术支持云产品进行进一步融合的时候,产生了更大的化学反应。

硬件安全降维打击固件攻击

最高等级安全保护

刚刚前几周,英国的网络安全中心公布了一份报告,有组织将新冠疫苗的研究机构作为攻击的目标。他们利用的方式,是通过替换网络上所有VPN服务器的固件,来长久获得边界网络的控制权。

而大家都知道,这种基于固件的攻击,是系统层安全软件非常难以发现的。安全对抗的时候, 高维打低维效果最好,越底层的检测能力跟防御能力对越上层的攻击越有效果。

阿里云的硬件安全能力,支持系统启动的时候进行安全的检测,能够有效的发现这一类的高安全级别的后门和木马。这样的例子数不胜数,我们期待通过阿里云硬件这一层的高安全能力,给到所有的云上用户高安全级别的保护。

启用身份作为新的安全边界

打造零信任网络环境

传统网络边界、访问控制包括隔离,随着业务越来越复杂会越来越弱化, 启用身份成为企业新的安全边界,将成为构建新型安全的核心维度之一。 这次疫情,80%的企业选择了远程办公,而安全的挑战包括员工在家的终端的安全、整个办公网流量的安全、云端的应用系统的数据泄漏风险……这对企业来说都是非常大的挑战。

阿里云有个客户叫猿辅导,作为在线教育龙头企业,疫情期间很多员工在家里面办公,全球范围内有超过3万名员工,需要统一的远程管理。经过多轮生产环境验证,猿辅导最终选择了阿里云的整套零信任远程办公方案来解决这个问题。

阿里云零信任方案对所有员工的终端进行了可信认证,对每个用户的身份进行双因素的强认证,在云端的决策引擎打通了后端所有的核心应用系统,实现统一ID、统一授权。云端智能决策引擎还可以通过当下的安全因子,来判断给到每个用户什么样的对应权限,实现了办公效率、员工体验感和安全等级的全面提高。

数据默认加密*密钥轮转

让隐私泄露成为不可能

云上的数据安全一定是所有企业非常关注的, 而数据默认加密是数据安全的一个明确的趋势。 我分享一个国内手机厂商的案例。大家手机照片都会存在云端,这对个人来说一定是非常重要的隐私数据。这家手机厂商将云端的数据存储在我们OSS的云产品上面,客户通过OSS的默认加密的功能。

所有的云端的用户隐私照片存放在阿里云OSS上面的时候,都是默认加密的,所有的密钥都是由客户自己来保管。这样子有效防止了云端的数据泄漏后会造成的所有的安全隐患。 我们当前在17款云产品当中都支持了默认加密的功能,同时提供密钥轮转的功能, 用户可以通过密钥管理系统来自主管理密钥,而且一旦云端密钥泄漏,可以进一步通过一键密钥轮转来提升云端数据安全性。

数据智能驱动安全技术

原来,企业遇到的安全挑战在于数据量太大,在海量的流量中需要有效地发现威胁,精准的检测出威胁在哪里,第一时间进行拦截。 而阿里云把数据技术应用在了多个安全方面的领域,带了很好的效果。

我们在DDoS防御、Web安全防御当中,通过算法模型能够非常精准地识别攻击流量、进行阻断。 在威胁情报方面,阿里云可以识别全网的恶意IP,自动化地分析威胁,自动化地产生“安全疫苗”。 内容安全以及风控的场景,通过对图像、视频的分析和理解,帮助用户在业务上面识别涉黄、涉恐、涉暴的违禁内容,以及对用户进行视频的实人认证等等。这些是过去一年实践中总结出的云原生安全“六点核心优势”,基于很多已经落地的安全产品能力和框架,今天我也重点发布阿里云原生安全架构。

每个企业可以基于这个架构,根据自己的业务需求、业务场景特点来构建基于云的下一代创新安全架构。整个架构会分为三大层面:

第一个层面:云平台安全

阿里云使用硬件安全能力和全局云平台的威胁检测和响应能力,来打造更安全的云平台底层。

第二个层面: 云产品安全

安全能力和安全威胁建模能力在产品设计阶段,就已经被融入到产品的开发流程当中。所有代码上线前确保是安全的,给到用户一个安全的云产品。

第三个层面:内置原生安全

在主机层、网络层、应用层甚至在数据层、业务层,各个层面上将安全能力融合成场景化的解决方案,提供给各行业用户。

今天毋庸置疑,无论是IDC 、Gartner、 Forrester等国际第三方咨询机构全线领导者象限的认可,还是国内外行业头部用户的选择,阿里云安全已经是云安全的领导者。

阿里巴巴全栈上云,我们一方面基于云平台、云原生的安全能力帮助各业务主体去解决好安全问题;另一方面,也希望通过云平台,让云上的数百万级用户能够享受到跟阿里巴巴同等安全能力的保护。

云演进到今天, 底层基础设施变化给安全带来了天翻覆地的变化,我相信未来所有的企业都会在云上享受最高等级的安全。

云安全领域会有更多的创新的涌入,那我也期待通过云原生的安全能力,来协助用户构建下一代的安全架构,使用云更要驾驭云,在“云上绿洲”充分释放企业的商业竞争力!

polardb设置数据保留时间

一般默认保留时间是2周。登录PolarDB控制台,选择目标地域。

单击目标集群名称列的集群ID,在左侧导航栏中选择参数配置。修改Binlog日志保留参数:5.6版本:根据实际需求,修改loose_expire_logs_hours值,修改完成后,单击提交修改即可。

8.0版本:根据实际需求,修改binlog_expire_logs_seconds值,修改完成后,然后单击提交修改即可。

PolarDB是阿里云自主研发的新一代关系型云原生数据库,既拥有分布式设计的低成本优势,又具有集中式的易用性。

PolarDB采用存储计算分离、软硬一体化设计,满足大规模应用场景需求。

技术含量:

由多名院士组成的专家组认为,阿里云自主研发的PolarDB数据库技术复杂,研制难度大,在云原生分布式数据库架构、冷热数据分层存储引擎、软硬件一体化的共享存储系统、大规模在线事务数据库的智能运维与优化等方面具有重要创新。

在云原生分布式数据库领域整体达到了国际领先水平,经济和社会效益十分显著,是中国在数据库领域赶超世界先进水平、构建自主生态的成功实践和重大成果。

一场替换传统数据库的行动正在全球范围悄然进行

随着全球各大 科技 巨头的竞相加入,开源软件技术已经活跃在各个信息技术领域当中。其中,大数据生态成为开源技术的直接受益者。开源技术适用于庞杂的数据管理系统,带来敏捷、高效、可扩展以及可自控的管理能力,并帮助企业降低IT建设及维护成本。2018年双11当天,阿里云原生数据库PolarDB轻松应对了0点0分0秒瞬时提升122倍的数据洪峰。Netflix也采用自研开源架构Metacat将海量数据集合成一个“单一”的数据仓库,大幅提升管理能效。

当前,我国有越来越多的企业、人才加入到开源社区,贡献力也“后来居上”,共同推进开源项目、开源生态的繁荣和可持续发展。

大数据生态成为开源技术重大“受益者”

近年来,在互联网服务、多媒体以及科学研究等多个领域,都可见到大数据的身影。在大数据时代,不断增长的数据量、快速处理数据的需求以及数据类型、结构和来源的多样性给数据库敏捷、高效、可扩展性以及个性化管理带来了全新挑战。

开源技术赋能了大数据生态的高质量发展。赛迪智库信息化和软件服务业所博士蒲松涛表示,经过了数十年的发展,开源软件和开源工具已经应用到了大数据产业发展的各个环节,基于开源软件,企业可以快速构建大数据应用平台,提供丰富的大数据开发和应用工具。

当前,几乎各种规模的企业都在使用开源软件和工具做大数据处理和基于数据的预测分析。开源界也涌现出了Hadoop、OpenStack、OpenShift、Mapreduce、docker等引领行业技术创新方向的重量级开源项目。

华泰人寿基于OpenShift架构打造易于管理的新IT系统,以提升企业竞争力,实现业务数字化转型。在基础设施上,引入红帽OpenShift容器云解决方案和红帽Ceph分布式存储。通过将保险业务上docker云,实现华泰人寿业务的弹性伸缩和快速上线,加速其互联网保险项目快速落地。

美国知名在线影片租赁提供商Netflix也采用了大数据发现服务的开源框架Metacat。由于Netflix的数据仓库由许多大型的数据集组成,为了确保数据平台能够横跨这些数据集成为一个“单一”的数据仓库,Netflix开发的元数据服务Metacat,能让数据的发生、发现、处理和管理变得更加快捷高效、处理精度大幅提升;同时还可兼容Spark、Presto、Pig和Hive架构。Netflix软件架构师Ajoy Majumdar指出,开放开源是身为技术公司的竞争战略,既能够将自己的解决方案建立为行业标准和最佳实践,又能建立Netflix的技术品牌,还能从共享生态中获得反馈输入并受益。

事实上,推动大数据应用高质量发展的主流开源平台还有很多,例如Spark、Shark、Bagel等。蒲松涛表示,这些开源平台大幅降低应用门槛,有效帮助企业实现工业级应用,进而带动各行业大规模部署。此外,大数据还涌现出了一批开源支线平台。其中,Storm完全摆脱了经典的MapReduce架构,重新设计了一个适用于流式计算的架构,以数据流为驱动触发计算,计算时效性高,适应有向无环图计算拓扑的设计,计算方式较为灵活,在业界得到了一定的部署应用。

开源社区供需“双赢”中国力量已崛起

开源社区的建立为推动开源软件发展、构建行业竞争优势做出突出贡献,队伍的壮大需要每一位使用者持续不断的贡献智慧,以实现真正的“共赢”。开源的发展历程中,极客、大公司、商业颠覆者轮番登场,开源技术的诉求也从商业驱动向生态驱动发展。中国工程院院士廖湘科指出,开源是软件创新技术的主要来源,是生态抓手,而非赢利的切入点。

开源软件的“共享和贡献”机制吸引了众多开发者的参与,给了每一位开发者“颠覆 游戏 规则”的权利。有了这种生态的加持,信息技术将被快速推进,各个参与者将持续获利。对此,李飞飞表示,开源生态的受益者是开源技术的需求侧和供给侧双方。从供给侧角度来看,参与的人越多,思维碰撞而引发的迭代演进就会越快;从需求侧角度来看,各个企业不仅可以免除被闭源系统“技术绑定”,还可以在开源社区实现数据库技术迁移,企业还可针对企业技术特征进行数据库的个性定制化,实现大量的应用和代码的改造且系统间互相兼容。

中国开源软件推进联盟副 主席 兼秘书长刘澎在PostgreSQL .CN 2019上表示,当前国内越来越多的企业为开源做出重要贡献,我国的开源实力已经崛起。以华为、阿里等为代表的开源软件开发者已经逐渐与亚马逊、微软站到了同一高度,实现了从“使用者”到“引领者”的身份转变。

目前,中国企业在Linux基金会中有1个白金会员(华为),1个金牌会员(阿里云)和数十家银牌会员(包括腾讯、中国移动、联想等)。华为在多个开源社区贡献排名前列。中国工程院院士倪光南认为,华为是开源软件的优秀开发代表,通过引进、消化,实现创新发展,进而贡献给整个开源社区。

阿里云也成为 游戏 规则的重要改变者和全球云数据库领跑者之一。2018年,阿里云数据库成功进入Gartner数据库魔力象限,这是该榜单首次出现中国公司。近日,Gartner发布的全球云数据库市场份额榜单中,阿里云位居第三,超越了Oracle、IBM和谷歌。5月21日,阿里云提供传统数据库一键迁移上云能力,可以帮助企业将线下的MySQL、PostgreSQL和Oracle等数据库轻松上云,最快数小时内迁移完成。李飞飞表示,阿里云自研的PolarDB云原生数据库的分布式存储架构具有一写多度、计算与存储分离等优势,帮助淘宝交易平台应对了双11当天瞬时提升122倍的数据洪峰。

此外,国内还有包括百度、浪潮、瀚高等在内的众多企业积极参与并贡献到开源社区当中。人工智能、自动驾驶等新兴信息技术也成为开源项目的重要应用领域。

上一篇:腾讯云表格(腾讯云表格数据读取满)
下一篇:华为的云服务(华为云)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~