Redis Cluster数据迁移单实例方案实战

RalphPrima 发布于20天前
0 条问题

前言

Redis集群同步迁移的方法有很多,比如redis-port,redis-migrate-tool等工具,本文主要讲CentOS通过redis-migrate-tool从集群迁移到单实例。

redis-migrate-tool 是维品会开源的一款redis数据迁移工具,基于redis复制,快速,稳定,github地址为:https://github.com/vipshop/re...

迁移工具的来源(source)可以是:单独的redis实例,twemproxy集群,redis cluster,rdb文件,aof文件。
迁移工具的目标(target)可以是:单独的redis实例,twemproxy集群,redis cluster,rdb文件。

目前测试的Redis版本为3.0.0,如果是4.0.x版本可能会报错

[2019-07-31 16:57:50.393] rmt_redis.c:1517 MASTER <-> SLAVE sync: receiving 4860 bytes from master[172.16.255.34:7001@17001]
[2019-07-31 16:57:50.393] rmt_redis.c:1623 MASTER <-> SLAVE sync: RDB data for node[172.16.255.34:7001@17001] is received, used: 0 s
[2019-07-31 16:57:50.393] rmt_redis.c:1643 rdb file node172.16.255.34:7001@17001-1564563470312707-6709.rdb write complete
[2019-07-31 16:57:50.393] rmt_redis.c:6446 ERROR: Can't handle RDB format version -1549717496
[2019-07-31 16:57:50.393] rmt_redis.c:6715 ERROR: Rdb file for node[172.16.255.34:7001@17001] parsed failed

如上Can't handle RDB format version -1549717496为版本兼容问题,各个版本的.rdb是不兼容的,rmt工具似乎还不支持4.0.X。

可考虑降版本,如果开启了appendonly yes,可通过.aof文件迁移。

当前集群数据存在

172.16.255.34:7000 172.16.255.34:7001
172.16.255.35:7002 172.16.255.35:7003
172.16.255.36:7004 172.16.255.36:7005

需要将集群的数据迁移到单实例的172.16.255.34:6379

安装

依赖:

$ yum -y install automake libtool autoconf bzip2 git

安装redis-migrate-tool:

$ git clone https://github.com/vipshop/redis-migrate-tool
$ cd redis-migrate-tool
$ autoreconf -fvi
$ ./configure
$ make

查看命令帮助可检查是否安装成功

$ src/redis-migrate-tool -h

如果出现

$ src/redis-migrate-tool -h
This is redis-migrate-tool-0.1.0

Usage: redis-migrate-tool [-?hVdIn] [-v verbosity level] [-o output file]
                  [-c conf file] [-C command]
                  [-f source address] [-t target address]
                  [-p pid file] [-m mbuf size] [-r target role]
                  [-T thread number] [-b buffer size]
....

安装成功。

更多介绍 查看redis-migrate-tool使用详解

配置文件更改

redis-migrate-tool默认的配置文件为rmt.conf,更改如下

$ vi rmt.conf

[source]
type: redis cluster
servers :
-172.16.255.34:7000

[target]
type: single
servers:
-172.16.255.34:6379

[common]
listen: 0.0.0.0:8888

Esc :wq 保存退出。

source为集群,只需要配置一个servers就可以。

开始迁移

$ src/redis-migrate-tool -o log -d

开始在后台运行迁移,查看运行日志 tail -200 log

....
[2019-08-01 11:59:19.919] rmt_redis.c:6601 Rdb file for node[172.16.255.34:7000] parsed finished, use: 0 s.
[2019-08-01 11:59:19.919] rmt_redis.c:6709 All nodes' rdb file parsed finished for this write thread(0).

可看见All nodes' rdb file parsed finished则表示运行完成。

运行数据检查

$ src/redis-migrate-tool -o log -d -C redis_check

默认抽样1000个数据检查

Check job is running...

Checked keys: 1000
Inconsistent value keys: 0
Inconsistent expire keys : 0
Other check error keys: 0
Checked OK keys: 1000

All keys checked OK!
Check job finished, used 1.041s

迁移成功~

如果中途迁移失败,使用redis-cli -h 172.16.255.34,清除keys

172.16.255.34:6379> flushall

keys *检查是否清空,以免list等数据迁移时会增量,redis_check会检查一部分数据不一致,你会发现都是显示list

[2019-07-31 17:00:27.185] rmt_check.c:848 ERROR: key checked failed: check key's value error, value is inconsistent. key(len:15, type:list): 509A4C6A4WAY_46

Java使用JedisCluster连接集群的改成JedisPool

@Override
public void afterPropertiesSet() throws Exception {
    if (mJedis == null) {
        mJedisPool = new JedisPool(genericObjectPoolConfig, hostName, Integer.valueOf(port), timeout);
        mJedis = mJedisPool.getResource();
    }
}

@Autowired
private Jedis jedis;

原文链接

推荐阅读

查看原文: Redis Cluster数据迁移单实例方案实战

  • crazypanda
  • tinysnake
  • beautifulpeacock
需要 登录 后回复方可回复, 如果你还没有账号你可以 注册 一个帐号。