什么是主从复制

1. 1个master可以有多个slave
2. 1个slave只能有1个master
3. 数据流向是单向的，master到slave

作用：

1. 为数据提供了多个副本
2. 扩展了redis读的性能

复制的配置（不允许在同一台机器上部署主从节点）

两种方式：

1. slaveof命令
2. 配置

将6380设置为6379的从节点
取消从节点，注意：取消从节点之后，之前复制的数据并不会被清除，只是断了与之前主节点的联系，但是如果成为了一个新主节点的从节点，那么就会复制新的主节点的数据，之前的数据就会被清除。
第一条配置是设置成某一ip和端口号的从节点
第二条配置是设置只读不写，以保证和主节点数据的一致性

两种配置的比较

命令

设置主从节点的配置文件6379为主节点，6380为从节点

1
2
3
4
5
6
7
8
9
1[root@iZ8vbhgs0bdip8zvxd6xjjZ redis-4.0.6]# ll

2drwxr-xr-x  2 root root   4096 Nov 27 14:10 config

3-rw-rw-r--  1 root root  57765 Apr  3  2019 redis.conf

4-rw-rw-r--  1 root root   7606 Dec  5  2017 sentinel.conf

5drwxrwxr-x  3 root root   4096 Nov 16 15:35 src

6drwxrwxr-x 10 root root   4096 Dec  5  2017 tests

7drwxrwxr-x  8 root root   4096 Dec  5  2017 utils

8

9

1. 将主设置文件redis.conf复制到config文件夹

1
2
3
1[root@iZ8vbhgs0bdip8zvxd6xjjZ redis-4.0.6]# cp redis.conf config

2

3

1. 将主设置文件redis.conf复制到config文件夹

1
2
3
4
5
6
7
8
1[root@iZ8vbhgs0bdip8zvxd6xjjZ redis-4.0.6]# cp redis.conf config

2[root@iZ8vbhgs0bdip8zvxd6xjjZ redis-4.0.6]# cd config/

3[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# ll

4total 64

5-rw-r--r-- 1 root root 57765 Dec 15 14:51 redis.conf

6[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# cp redis.conf redis-6379.conf # 复制到redis-6379.conf

7

8

1. 更改redis-6379.conf配置文件

1
2
3
4
5
6
7
8
9
1daemonize yes # 以守护进程运行redis

2pidfile /var/run/redis_6379.pid 将进程文件加上6379

3logfile "6379.log" # 将log文件命名为6379.log

4#save 900 1  # 这三个在生产环境中不会这样用，关掉

5#save 300 10

6#save 60 10000

7dbfilename dump-6379.rdb  # 将rdb文件命名为dump-6379.rdb（主从复制是依赖于rdb的，如果主从用一个rdb文件，会有一些影响）

8

9

1. 配置redis-6380.conf配置文件

1
2
3
4
5
6
7
8
9
1[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# cp redis-6379.conf redis-6380.conf # 复制一个6380的配置文件

2修改6380的配置文件

3port 6380

4pidfile /var/run/redis_6380.pid

5logfile "6380.log"

6dbfilename dump-6380.rdb

7slaveof 127.0.0.1 6379

8

9

1. 重新启动主节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
1[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-server redis-6379.conf

2[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# ps -ef | grep redis-server

3root      6549     1  0 Nov16 ?        00:19:58 redis-server 127.0.0.1:6379

4root     28005 27740  0 14:26 pts/0    00:00:00 grep --color=auto redis-server

5

6[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-cli  # 打开客户端

7127.0.0.1:6379> info replication # 查看复制区的信息

8# Replication

9role:master # 默认是主节点

10connected_slaves:0  # 无从节点

11master_replid:793ea29532c0cc6e58080ef322b5063c488bdb1c

12master_replid2:0000000000000000000000000000000000000000

13master_repl_offset:0

14second_repl_offset:-1

15repl_backlog_active:0

16repl_backlog_size:1048576

17repl_backlog_first_byte_offset:0

18repl_backlog_histlen:0

19

20

21

1. 重新启动从节点

1
2
3
4
5
6
7
8
9
10
11
12
13
1[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-server redis-6380.conf

2[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# ps -ef | grep redis-server | grep 6380 # 查看是否启动成功

3root     28015     1  0 14:31 ?        00:00:00 redis-server 127.0.0.1:6380

4[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-cli -p 6380 info replication # 查看从节点信息

5# Replication

6role:slave # 角色是从节点

7master_host:127.0.0.1 主节点

8master_port:6379  主节点端口

9master_link_status:up

10master_last_io_seconds_ago:6

11master_sync_in_progress:0

12

13

1. 测试主从复制

1
2
3
4
5
6
7
8
9
10
11
12
13
1[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-cli

2127.0.0.1:6379> set hello world

3OK

4127.0.0.1:6379> dbsize

5(integer) 1

6127.0.0.1:6379> exit

7[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-cli -p 6380

8127.0.0.1:6380> get hello 

9"world"

10127.0.0.1:6380> set hello java  # 该从节点只能做读操作

11(error) READONLY You can't write against a read only slave.

12

13

1. 取消从节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
1[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-cli -p 6380

2127.0.0.1:6380> slaveof no one

3OK

4[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-cli

5127.0.0.1:6379> mset a b c d e f g h

6OK

7127.0.0.1:6379> dbsize

8(integer) 6

9[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-cli

10127.0.0.1:6379> mset a b c d e f g h

11OK

12127.0.0.1:6379> dbsize

13(integer) 6

14127.0.0.1:6379> exit

15[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-cli -p 6380

16127.0.0.1:6380> dbsize

17(integer) 2

18127.0.0.1:6380> set abc6380 hello

19OK

20127.0.0.1:6380> 

21127.0.0.1:6380> slaveof 127.0.0.1 6379 # 再次设置为从节点

22OK

23127.0.0.1:6380> get abc6380  # 会对之前的数据进行清除

24(nil)

25

26

27

runid和复制偏移量

什么是runid？
redis每次启动的时候都会随机生成一个runid，以保证redis的标识

1
2
3
4
1[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-cli -p 6379 info server | grep run

2run_id:2abbf0e2f01c0d4ba7bf02cd778af9883f2460d9

3

4

偏移量

1
2
3
4
5
6
7
8
9
10
1[root@iZ8vbhgs0bdip8zvxd6xjjZ config]# redis-cli -p 6379 info replication

2# Replication

3role:master

4connected_slaves:1

5slave0:ip=127.0.0.1,port=6380,state=online,offset=7175,lag=0 # 从节点偏移量

6master_replid:5bc6138e8f770cc3ec183c89bbabfe904a0a9bb9

7master_replid2:0000000000000000000000000000000000000000

8master_repl_offset:7175  # 主节点偏移量

9

10

全量复制和部分复制

对于一个已经存了很多数据的master节点而言，slave节点需要复制master节点的数据，将当前master数据同步过来，master在这期间写的数据也要同步过来，这样才能实现数据真正同步的效果。那么redis是怎么实现这个功能呢？
首先将自己的Rdb文件同步给slave，在此期间它写入的命令会单独记录起来，然后当rdb文件加载完之后，他会通过偏移量的对比，将这期间写入的值同步给slave。

全量复制的开销

1. bgsave的时间
2. RDB文件网络传输时间
3. 从节点清空数据时间
4. 从节点加载RDB文件的时间
5. 可能的AOF重写时间 （RDB文件加载之后，如果AOF开启的话，需要AOF重写，以保证AOF是最新的数据）

部分复制

如果master和slave之间的网络发生抖动，那一段时间内数据就会发生丢失， 此时slave会向master发送一个命令，其中包含自己的offset和runid，那么master就会根据从节点的偏移量和自己的buffer进行比较，然后从上一次数据传输的断点开始继续传输数据。

故障处理

自动故障转移

主从结构中怎么处理故障转移？

1. slave故障

假如在一主两从结构中，一个slave发生故障，可以将客户端转移到另一个slave节点读取数据

1. master故障

选择其中一个从节点为主节点进行读写操作，并且将另一个从节点更换一个master。

开发运维常见问题

1. 读写分离

读流量分摊到从节点
可能遇到的问题：

• 复制数据延迟（如果从节点出现阻塞，那么就会延迟更新从主节点复制的数据）
  • 读到过期数据
  • 从节点故障
• 主从配置不一致

可能遇到的问题：

• 例如maxmemory不一致：丢失数据
  • 例如数据结构优化参数（例如hash-max-ziplist-entries）：内存不一致
• 规避全量复制

可能遇到的问题：

• 第一次全量复制不可避免（小主节点、低峰）
  • 节点运行ID不匹配（例如：主节点重启，运行ID变化，可以故障转移，例如哨兵或集群）
  • 复制积压缓冲区不够（例如：网络中断，部分复制无法满足，可以增大复制缓冲区配置rel_backlog_size,网络“增强”）
• 规避复制风暴

可能遇到的问题：

• 单主节点复制风暴（主节点重启，多从节点复制，可以改变复制拓扑）

* 单机器复制风暴（机器宕机后，大量全量复制，可以主节点分散多机器）