場景描述
在云之間進(jìn)行遷移，對于Ali ECS to AWS EC2、Ali RDS to AWS RDS/Aurora遷移相對都比較簡單，可以使用自動化工具進(jìn)行遷移；
對于Redis遷移主要考慮數(shù)據(jù)是否持久化和安全訪問的問題，AWS Redis是允許內(nèi)網(wǎng)訪問，如果需要Office網(wǎng)絡(luò)連接AWS ElastiCache Redis，需要借用SD-WAN或?qū)＞€進(jìn)行組網(wǎng)。
Redis遷移
1.離線遷移（Redis-shake）
2.在線遷移（DTS、Redis-shake）
Redis 離線遷移
源Redis的版本為2.8、3.0、3.2、4.0或5.0版本。（2.8的版本需先遷移至4.0版本）
目標(biāo)Redis的版本需要滿足一下要求：
- Reids為社區(qū)辦4.0/5.0版本或企業(yè)版本5.0版本
- Redis為標(biāo)準(zhǔn)架構(gòu)或集群架構(gòu)
步驟
1.下載redis-shake工具
https://github.com/alibaba/RedisShake/releases
2.修改 redis-shake.conf 文件
# id唯一標(biāo)識一次同步進(jìn)程
id=redis-shake # source相關(guān)配置
source.rdb.input = >/xxx/dump.rdb
target.type=standalone
target.address=10.xx.xx.xx:6379
target.password_raw={password}
target.auth_type = auth
3.執(zhí)行操作
[root@ip-10-1-0-139 workstation]# ./redis-shake.linux -type=restore -conf=redis-shake.conf
redis-shake.png
4.數(shù)據(jù)校驗(yàn)
r-bp1z3lkccjpxj9woeapd.redis.rds.aliyuncs.com:6379> dbsize
(integer) 277850
可以核對數(shù)據(jù)的量，以達(dá)到數(shù)據(jù)校驗(yàn)的目的
Redis 在線遷移
Redis-shake遷移
步驟
1.修改redis-shake.conf文件
# id唯一標(biāo)識一次同步進(jìn)程
id=redis-shake # source相關(guān)配置
source.type=standalone
source.address=10.xx.xx.xx:6379
source.password_raw={password}
source.auth_type = auth
target.type=standalone
target.address=10.xx.xx.xx:6379
target.password_raw={password}
target.auth_type = auth
# 在rdb全量同步階段，如果目標(biāo)redis已經(jīng)存在對應(yīng)的key時(shí)是否覆蓋，如果為false就拋異常
rewrite = true
# 是否做metric統(tǒng)計(jì)，建議設(shè)置為true，如果設(shè)置為false，/metric中的部分參數(shù)的值就一直是0
metric = true
2.執(zhí)行操作
[root@ip-10-1-0-139 workstation]# ./redis-shake.linux -type=sync -conf=redis-shake.conf
redis-shake-online.png
3.數(shù)據(jù)校驗(yàn)
r-bp1z3lkccjpxj9woeapd.redis.rds.aliyuncs.com:6379>
dbsize(integer) 277850
4.增量同步數(shù)據(jù)過程
sync-redis.png
一階段：全量數(shù)據(jù)完成
二階段：增量數(shù)據(jù)同步
第一階段完成后，第二階段會繼續(xù)進(jìn)行增量數(shù)據(jù)的同步。
DTS遷移（目標(biāo)為主從架構(gòu)）
適用環(huán)境
1.集群/主從架構(gòu) to AWS ElastiCache Redis主從架構(gòu)
DTS-遷移.png
2.進(jìn)行數(shù)據(jù)校驗(yàn)，查看數(shù)據(jù)大小
DTS遷移（目標(biāo)為集群架構(gòu)）
適用環(huán)境
1.集群/主從架構(gòu) to AWS ElastiCache Redis集群架構(gòu)
2.AWS redis只允許內(nèi)網(wǎng)訪問，需要借助能夠映射外網(wǎng)的NLB/代理服務(wù)器
image.png
步驟
1.安裝部署redis proxy
wget https://github.com/alibaba/RedisShake/releases/download/release-v2.1.1-20210903/release-v2.1.1-20210903.tar.gz
tar zxvf release-v2.1.1-20210903.tar.gz
mv release-v2.1.1-20210903 redis-shake-2.1.1
cd redis-shake-2.1.1/
2.查看對應(yīng)redis node的ip
直接ping node域名即可獲得
3.配置proxy的信息
sudo ./redis-cluster-proxy --port 7888 --connections-pool-size 20 --connections-pool-min-size 15 --connections-pool-spawn-rate 2 --connections-pool-spawn-every 500 10.0.14.6:6379,10.0.19.240:6379,10.0.3.72:6379,10.0.26.100:6379,10.0.27.86:6379,10.0.9.243:6379,10.0.22.183:6379,10.0.12.162:6379 &
4.利用阿里DTS進(jìn)行遷移配置
源端配置為阿里的Redis信息
目標(biāo)端的IP配置為proxy 主機(jī)的IP，端口好為指定的port
5.如果需要設(shè)置DTS服務(wù)器的白名單，需要將目標(biāo)端的node信息添加
6.使用DTS進(jìn)行預(yù)檢查
7.使用redis-cli或其他工具連接redis，查看數(shù)據(jù)的同步情況
8.驗(yàn)證增量數(shù)據(jù)同步，在源端新增key/修改key，在目標(biāo)端進(jìn)行查看
9.數(shù)據(jù)校驗(yàn)?？梢允褂胷edis-full-check進(jìn)行對比
主從版/單節(jié)點(diǎn)
./redis-full-check -t 10.101.72.137:30661 -s 10.101.72.137:30551
對于主從和集群
./redis-full-check -s r-2zee5bo9byhcms8opg.redis.rds.aliyuncs.com:6379 --sourcepassword=Vcg@2021 -t cn-500px-dev-ec-sg-01.sxgti0.0001.cnw1.cache.amazonaws.com.cn:6379 --comparemode=1 --comparetimes=1 --log=redis-full-check.log --sourcedbfilterlist=0 --targetdbfilterlist=0
