利用Redis-Shake将Redis数据迁移到亚马逊 ElastiCache Redis

2022-09-15 10:00

由于亚马逊云没有现成的数据支持直接将数据迁移到ElastiCache Redis，Redis-shake是开源的 redis 数据传输工具，支持对 redis 数据进行解析 (decode)，恢复 (restore)，备份 (dump) 和同步 (rump/sync)，部署简单高效。同步模式支持全量同步以及增量同步，能够满足多种场景需求

注意事项：

目前支持的redis版本为2.8.3.0.3.2.4.0以及5.0版本

暂时只支持亚马逊云ElastiCache的主从版，即非集群版；

跨版本同步或恢复需进行兼容性验证；

target 库的 maxmemory-policy 如果配置为 noeviction 以外的值，可能导致数据差异；

source 库的 key 设置了过期时间，key 可能已过期而未被删除，target 看到的 key 可能会比 source 少。

Redis-Shake安装

前置条件：需要确认亚马逊云EC2服务与自建Redis或其他云Redis服务互通且与ElastiCache Redis互通；

安装，由于Redis-Shake使用go语言开发，所以需要提前安装golang $ sudo yum install golang

下载Redis-Shake

wget https://ecvcorp-my.sharepoint.com/:f:/g/personal/emily_you_ecloudvalley_com/EnxiHi6yeFhEsgXcuIYfUNIBmoCwxP_uNyIiBq_bTGtz-A?e=e37LLB

解压安装包：

tar -zxvf release-v2.1.2-20220329 .tar.gz

$ cd release-v2.1.2-20220329 && vim redis-shake.conf

修改redis-shake.conf文件主要修改参数为source.address,source,password_raw,还有traget.address，假若需要 redis auth 访问，那么必须走传输加密/ssl, 对于 redis-cli 或者迁移工具就需要搭配 stunnel 这个加密隧道工具。业务代码来访问，也必须支持 ssl 连接才行，不能单纯使用 redis auth，假若这点您不确认可行，建议亚马逊云redis 主从版还是不要开启传输加密和 auth。