GaussDB(for Redis)揭秘第10期：GaussDB(for Redis)迁移系列（上）（gaussdb(for mysql)底层硬件）

GaussDB(for Redis)是一款基于计算存储分离架构，兼容Redis生态的云原生NoSQL数据库，基于共享存储池的多副本强一致机制，支持持久化存储。在保障数据库的高兼容、搞性价比、高可靠、无损扩容等特点的同时，GaussDB(for Redis)团队针对不同的数据库产品，为用户提供了多种数据迁移方案，本期将详细介绍社区版Redis、kvrocks和Pika到GaussDB(for Redis)的迁移。

1Redis到GaussDB (for Redis)的迁移

https://www.wqiis.com/news/zb_users/upload/catimg/ef12644133206ea6a164edc9e59daa99.png" alt="GaussDB(for Redis)揭秘第10期：GaussDB(for Redis)迁移系列（上）（gaussdb(for mysql)底层硬件）" />

社区版Redis作为非常受欢迎的内存数据库，因具有性能高，数据结构丰富等优点，得到广泛使用。GaussDB(for Redis)是兼容Redis生态的持久化数据库，不仅提供优秀的读写性能，还提供数据持久化能力，依托超前的系统架构，以极低的成本保证了数据三副本强一致特性，可以避免社区版Redis需要fork、成本高等问题。

1.1 迁移原理

使用自研的迁移工具drs-redis进行源端Redis到目标端GaussDB(for Redis)的迁移。迁移过程中，drs-redis伪装成源端Redis的从节点运行，与源端Redis建立连接后，触发Redis的主从同步。源端Redis生成RDB文件，传输给drs-redis完成全量同步。然后发送缓冲区保存的所有写命令到drs-redis完成增量同步。 drs-redis迁移工具接收并解析源端Redis的RDB文件，将解析后的数据通过redis命令的方式发送到GaussDB(for Redis)，然后以命令传播的方式将增量数据也发送到GaussDB(for Redis)，完成迁移。

1.2 前提条件

· 部署迁移工具drs-redis。

· 保证迁移工具drs-redis、源端Redis和目标端GaussDB(for Redis)网络互通。

1.3 操作步骤

1、正确修改drs相关配置文件。

2、清理迁移程序中可能的遗留数据。

3、启动drs，跟踪日志，确保迁移正确进行。

1.4 使用须知

· drs-redis伪装成源端Redis的从节点，只读取源端的全量数据和增量命令，无数据受损风险。

· 源端增加对drs-redis写数据的流程，因此性能会有轻微影响。

· GaussDB(for Redis)支持多个数据库，若源端是单节点Redis，需要保留多个数据库时，可以在GaussDB(for Redis)侧开启namespace功能，避免将多个数据库的数据迁移到同一空间，造成数据丢失。

· 如果之前源端不存在从节点，源端会新增replication-buffer来缓存增量命令。

问题：redis主从同步的replication-buffer是ring buffer，若写入buffer太快，会覆盖掉未发送给drs-redis的数据，源端Redis为了数据一致性会主动断开连接，造成迁移失败。

建议：迁移过程中，降低源端Redis写入数据的速率，在低压时间段进行迁移。配置redis的client-output-buffer-limit参数，适量增大replication-buffer的大小。

1.5  迁移性能参考

环境：源端单节点Redis和迁移工具drs-redis部署在8U32GB的弹性云服务器上，目标端为4U16GB，3节点GaussDB(for Redis)实例。

场景一：

−     源端replication buffer采用默认值（slave 268435456 67108864 60），该默认值表示缓存积压数据超过268435456bytes(256MB)，或超过67108864bytes(64MB)且持续60s，源端会主动断开与从节点的连接。

−     源端写入速率5MB/s，迁移过程可持续进行，不会产生源端buffer满造成的同步失败。

−     迁移工具读取数据的速率和源端写入速率一致。

场景二：

−     源端replication buffer不做限制（config set "client-output-buffer-limit" "slave 0 0 0"）。

−     源端写入速率10MB/s，容量充足的情况下，迁移持续进行。

−     迁移工具读取数据的速率和源端写入速率一致。

结论： 在环境，使用8U32GB弹性云服务器部署迁移工具，若源端replication buffer采用默认值，迁移可在源端5MB/s的写入速率下进行；若源端对replication buffer不做限制，迁移可在源端10MB/s的写入速率下进行。

2 Kvrocks到GaussDB(for Redis)的迁移

Kvrocks是一款开源的兼容Redis生态的NoSQL key-value数据库，底层基于RocksDB实现，提供namespace功能支持数据分区。Kvrocks集群管理功能相对薄弱，自建集群时需要与外部组件配合。Kvrocks支持的redis命令也不够全面，例如缺少在消息流和统计场景经常使用的stream及hyperloglog数据结构。

GaussDB(for Redis)以不亚于RedisCluster的兼容度，使用户在应用时无需修改代码，可直接使用，100%兼容原生接口。GaussDB(for Redis)在适配Kvrocks业务的同时，还能克服器管理能力弱、对Redis兼容度不高等缺点。

2.1 迁移原理

使用开源工具kvrocks2redis进行Kvrocks到GaussDB(for Redis)的迁移，在此基础上，从GaussDB(for Redis)源码层面对Kvrocks的namespace功能进行适配。

迁移过程分为全量和增量两个阶段：迁移开始后，先进行全量迁移，此时对kvrocks打快照，并记录对应的数据版本（seq）。然后解析全量数据文件成redis命令写入GaussDB(for Redis)。全量迁移完成后进入持续的增量迁移过程，迁移工具循环给Kvrocks发送PSYNC命令，将获取到的增量数据不断转发给GaussDB(for Redis)，完成增量迁移 。

2.2 前提条件

· 部署kvrocks2redis到独立主机。

· 确保源端、目标端、迁移工具之间网络互通。

· 源端Kvrocks实例提前做好数据备份。

· 目标端GaussDB(for Redis)实例清空全部数据。

2.3 操作步骤

1、修改迁移工具配置文件，填入源端kvrocks连接信息、目标端GaussDB (for Redis) 连接信息、源端kvrocks namespace到目标端GaussDB (for Redis) DB的映射关系。

2、确保配置文件内容正确。

3、启动迁移工具。

4、跟踪日志，确保全量迁移顺利完成，进入持续增量迁移过程。

5、进行验证。确保数据迁移后，目标端GaussDB (for Redis) 已正确加载全部数据。

6、待后续业务侧压力转移到GaussDB (for Redis) 后，停止增量迁移，即手动停止迁移工具的运行。

2.4 使用须知

· kvrocks2redis需要从Kvrocks提取数据到本地文件，并从中解析出命令发送到目标端GaussDB(for Redis) ，该过程中可能影响源端性能，但理论上不会有数据受损风险。

· 迁移工具运行过程中，若出现问题，迁移工具会自动停止，方便问题定位。

· GaussDB(for Redis)从安全性角度出发，不提供清库语义命令，因此要在迁移开始前确保无数据。

3 Pika到GaussDB(for Redis)的迁移

Pika是一个可持久化的大容量Redis存储服务，解决了Redis由于存储数据量巨大而导致内存不够用的容量瓶颈。但其集群管理功能较为薄弱，需要使用twemproxy或者codis实现静态数据分片，数据一致性较弱。同时由于数据全部存储在磁盘中，相比于社区版Redis，性能明显下降。

GaussDB(for Redis)实现了冷热分离，解决了缓存（cache）与数据库（Data Base，DB）之间交互访问的问题，当用户数据量小于内存时可以达到和社区版redis相当的性能。通过proxy代理，使上层业务可以不感知内核处理扩缩容过程中的数据迁移。

3.1 迁移原理

使用开源迁移工具pika-port进行Pika到GaussDB(for Redis)的迁移。pika-port伪装成Pika的从节点运行，通过主从复制的方式进行数据迁移。Pika主节点通过比较pika-port和自己的binlog偏移量判断做全量迁移还是增量迁移。如果需要做全量迁移，Pika主节点会将全量数据快照发送给pika-port，pika-port将解析后的快照数据发送给GaussDB(for Redis)。全量迁移结束后进入增量迁移，pika-port将增量数据解析后以redis命令的形式发送给GaussDB(for Redis)。

3.2      前提条件

· 部署迁移工具pika-port

· 确保源端Pika实例、pika-port和目标端GaussDB(for Redis)实例网络互通。

3.3 操作步骤

1、正确修改pika-port配置文件；

2、启动迁移工具pika-port;

3、跟踪日志，确保全量迁移完成后停服，进入增量迁移过程;

4、增量迁移完成后，校验迁移数据的正确性和完备性;

5、校验完毕将业务切到GaussDB (for Redis).

3.4 使用须知

pika-port伪装成源端Pika的从节点，只读取全量和增量数据，无数据受损风险。源端增加了和pika-port的主从同步流程，可能会影响源端性能。全量和增量结合迁移可以不停服，业务切入GaussDB(for Redis)时短暂停服。

3.5 迁移性能参考

环境：Pika（单节点）和pika-port同时部署在8U32GB的弹性云服务器上，目标端为8U16GB，3节点GaussDB(for Redis)实例。

预置数据：使用memtier_benchmark工具预置200GB数据。

迁移性能：约50000qps。

4 结语

高斯 Redis 在社区版 Redis 的基础上，结合华为自研强一致存储DFV Pool，具有强一致、秒扩容、超可用、低成本等优势，保证了计数的准确性、可靠性。

本文作者：GaussDB(for Redis)团队

杭州西安深圳简历投递：yuwenlong4@huawei.com