阿里云数据库集群（阿里云数据库集群怎么设置）

本文目录一览：

• 1、利用CCR+Reindex跨集群同步阿里云ES数据
• 2、阿里云ECS集群服务器时间同步解决方案
• 3、阿里云的自研InfluxDB集群方案剖析
• 4、hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少

利用CCR+Reindex跨集群同步阿里云ES数据

ES Version: 7.10.0

1.由于种种原因，测试需要同步生产ES数据至测试ES集群，且需要过滤部分数据后供测试使用（只读即可），索引数据总量10w+，过滤后数据量1w+。

2.实例是购买的阿里云ES服务，且于新网络架构（2020年10月及之后）下购买的，故无法支持跨集群reindex功能，但是可以在同一实例执行reindex。官方链接见文末参考文档。

3.于是考虑CCR（将整个索引同步到测试ES），穗逗再Reindex过滤数据到新索引（需要定期去reindex，同步频率沟猜顷卖通为半小时一次），新建ES账号控制索引权限，再开放给测试使用。

4.同步流程大致为下：

1.需要确保两个ES集群在同一个VPC下

2.配置实例网络互通，配置其中一个ES集群即可，另外一个会自动设置。

1.登录ES Kibana（购买ES时默认部署）

2.添加远程ES数据源（即被同步的ES集群）在测试ES集群操作。

稍等片刻之后，索引的同步状态即将变成 Active。查看文档数量，两边一致，同步完成。

1、首先要在测试环境新建索引 chat，字段类型保持与源端一致。

2、编写同步脚本 syncEsData.sh，过滤数据的 "query" 根据需求编写。

3、部署crontab，每半小时执行一次。

新增角色是为了控制测试人员查看全量数据的索引 follow_chat，如果之前是使用的elastic账号，则需要回收替换账乎局号。

阿里云ECS集群服务器时间同步解决方案

阿里云ECS实例已经提供了NTP服务器支持，直接启动已配置好的NTP服务即可。

《阿里云NTP服务器》

《配置Linux实例NTP服务》

在开启服务前，先确保环境配置：

文档 《配置Linux实例NTP服务》 中介绍了CentOS环境下开启NTP服务。

由于本人购买的Ubuntu服务器，下面总结Ubuntu环境巧塌下的配置。

执行命令磨宽银查询所有服务，看ntp服务是否已开启(+号：已开启；-号：未开启):

发现香港地区的服务默认都没有开启ntp服务；但深圳地区的服务器默认已经开启了ntp服务。

执行命令查询ntp进程，发现深圳服务器默认已经开启了ntp服务：

如果未开启ntp服务，执行命瞎宴令开启ntp服务：

开启成功后，如图：

或者查询ntp相关的进程：

重启后通过如下命令观察NTP的运行状态：

这个命令可以列出目前我们的 NTP 与相关的上层 NTP 的状态，上头的几个字段的意义为：

driftfile /etc/ntp/drift

语法为： restrict IP地址 mask 子网掩码 参数

其中IP地址也可以是default ，default 就是指所有的IP

参考 《ubuntu安装和使用NTP》

阿里云的自研InfluxDB集群方案剖析

本文将以阿里云在GIAC的分享《云原生InfluxDB高可用架构设计》为例，剖析阿里云的自研InfluxDB集群方案的当前实现，在分析中会尽量聚焦的相对确定的技术、架构等，考虑到非一线信息，在个别细节上难免存在理解偏差，欢迎私聊讨论:

0x0 初步结论

目前是一个过渡性质的公测方案，具备数据一致性，但接入性能有限，缺乏水平扩展能力。缺乏自定义副本数和水平扩展等能力，通过Raft或Anti-entroy提升了数据的可靠性，但受限于节点和副本的强映射，集群接入性能有限，约等同于单机接入性能，另外，基于时序分片和分布式迭代器等核心功能未提及，可能仍在预研中。

0x1 集群方案剖析

1. 背景补充：InfluxDB是DB-Engines上排名第一的TSDB，针对时序数据多写、少读、成本敏感等特点而设计的TSDB，并做了多轮架构迭代和禅激优化，是一款实时、高性能、水平扩展（InfluxDB Enterprise）、具有成本优势的TSDB。但在2016年，Paul Dix基于商业化和持久简碰运营的考虑，尚未成熟的集群能力在v0.11.1版后，选择闭源，推出了收费版的InfluxDB Enterprise和InfluxDB Cloud。

2. 通过Raft协议实现Meta节点的数据一致性，考虑到Meta节点存放的是Database/Rention Policy/Shard Group/Shard Info等元信息，这些信息敏感，是系统稳定运行的的关键，CP的分布式架构，合适。

3. 通过Raft协议实现Data节点的数据一致性，考虑到Data节点存储的是具体的时序数据，性能和水平扩展性是挑战，对一致性性要求不高（PPT中亦提到这一点），采用CP的分布式架构，节点和副本强映射，不仅对实时性有影响，集群接入性能亦有限，约等同于单机接入性能，不能很好的支持海量数据的实时接入的时序需求。

4. 2节点集群方案，通过Anti-entroy实现Data节点的数据一致性，应该还实现了Hinted-handoff能力，AP的分布式架构，但节点和副本还是强映射，未见提及基于时序分配、自定义副本数、分布式迭代器等能力，暂无法水平扩展。

5. 云盘能保障数据的可靠性，但无法保障接入的可用性，可用性敏感的业务或实时要求高的业务，还是推荐多节点的集群模式。

6. 开源版InfluxDB（单机）性能不错，InfluxDB Enterprise性能不错，但如何保障补齐集群能力的卓越性能，取决于集群架构、并发架构等，是由集群功能的开发者决定的，这次未见提及性能数据，期待后续的贺咐袜公布。

0x2 附录

hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少

如果是集群的话，我考虑需要流畅运行的话，2核4G配置是可以满足的。因为这个集群形式，用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景，所以数据量是比较大的，所以配置太低了跑不动，会卡死的。

因为hadoop是海量数据的处理能力，所以服务器一定不能太小配置了，跑不动了就没实际用途了。最好使用4核8G内存及以上配置。

因为这方面内容较配饥多，这里也写不开那么多内容，所以你可以留言或到我的博客上搜索相关内容，老魏有写搭和过教程，还不止一篇，都挺详细的内知卖盯容，可以帮助你入门。