redis分片集群如何搭建与使用

62次阅读
没有评论

共计 5097 个字符,预计需要花费 13 分钟才能阅读完成。

本文丸趣 TV 小编为大家详细介绍“redis 分片集群如何搭建与使用”,内容详细,步骤清晰,细节处理妥当,希望这篇“redis 分片集群如何搭建与使用”文章能帮助大家解决疑惑,下面跟着丸趣 TV 小编的思路慢慢深入,一起来学习新知识吧。

前言

redis 可以说在实际项目开发中使用的非常频繁,在 redis 常用集群中,我们聊到了 redis 常用的几种集群方案,不同的集群对应着不同的场景,并且详细说明了各种集群的优劣,本篇将以 redis 分片集群为切入点,从 redis 分片集群的搭建开始,详细说说 redis 分片集群相关的技术点;

单点故障;

单机写(高并发写)瓶颈;

单机存储数据容量限制;

集群自动伸缩;

集群自动故障下线与转移;

搭建集群架构图

前置准备

1、准备一台(或 6 台服务器,条件允许的情况下)虚拟机或服务器;

本例为演示效果准备了一台内存 8G 的服务器,将通过端口进行 master 和 slave 的划分

2、提前下载好 redis 安装包;

搭建步骤

1、创建 6 个目录文件,分别用于保存各个 redis 示例的数据

mkdir 7001 7002 7003 8001 8002 8003

2、在当前目录下创建一个 redis.conf 文件,内容如下

port 6379
#  开启集群功能
cluster-enabled yes
#  集群的配置文件名称,不需要我们创建,由 redis 自己维护
cluster-config-file /usr/local/soft/redis/6379/nodes.conf
#  节点心跳失败的超时时间
cluster-node-timeout 5000
#  持久化文件存放目录
dir /usr/local/soft/redis/6379
#  绑定地址
bind 0.0.0.0
#  让 redis 后台运行
daemonize yes
#  注册的实例 ip
replica-announce-ip  本机公网 IP
#  保护模式
protected-mode no
#  数据库数量
databases 1
#  日志
logfile /usr/local/soft/redis/6379/run.log

3、批量将该配置文件拷贝到各个目录下

echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

4、修改每个目录下 redis.conf,将其中的 6379 修改为与所在目录一致

printf  %s\n  7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i  s/6379/{}/g  {}/redis.conf

随机打开某个 redis.conf 看看是否修改成功

4、使用下面的命令进行启动

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7001/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7003/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8001/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8002/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8003/redis.conf

执行完成后,可以看到 6 个 redis 实例已经开启

创建集群

通过以上的步骤,就开启了 6 个 redis 的实例,但是这些实例之间并没有形成一个集群,接下来就需要执行相关的命令将它们构成一个集群

1、使用如下命令构建集群(5.0 之后的版本的命令)

redis-cli --cluster create --cluster-replicas 1 IP 地址:7001 IP 地址:7002 IP 地址:7003 IP 地址:8001 IP 地址:8002 IP 地址:8003

关于上面命令的说明

redis-cli –cluster 或者 ./redis-trib.rb:代表集群操作命令;

create:代表是创建集群;

–replicas 1 或者–cluster-replicas 1:指定集群中每个 master 的副本个数为 1,此时节点总数 ÷ (replicas + 1)得到的就是 master 的数量。因此节点列表中的前 n 个就是 master,其它节点都是 slave 节点,随机分配到不同 master;

也可以通过 redis-cli –cluster help 命令进行集群命令的查看;

执行命令后,控制台提示将会使用哪个示例作为 master,哪个作为 slave;

继续输入 yes 之后,将会按照上面的策略创建一个集群出来

redis 分片集群如何搭建与使用

通过这个输出的日志大概可以得出如下信息:

端口号依次为 7001,7002 和 7003 的为 master 节点;

端口号依次为 8001,8002 和 8003 的为 slave 节点;

端口号依次为 7001,7002 和 7003 的 master 节点,各自分配了一定区间的槽位数,分别是:[0-5460],[5461-10922],[10923-16383],即总共分配 16384 个槽位;

2、查看集群状态

redis-cli -p 7001 cluster nodes

redis 分片集群如何搭建与使用

通过这个命令,可以清楚的看到集群中各个实例节点的主从状态,实例 ID(唯一身份标识),槽位区间等信息

Redis 散列插槽说明

其实对 redis 分片集群稍有了解的同学应该知道,redis 分片集群在逻辑上将集群中的所有节点构成了一块完整的内存空间,数据写入进来后,具体存放到哪个节点呢?所以集群引入了一个逻辑尚的插槽概念,即将集群划分为 16384 个槽位,集群中的每个节点占据一部分槽位数(这个日志中可以看出来);

那么当某个具体的 key 写入的时候,集群将会通过一定的算法,将要写入的数据路由到指定的插槽上去;

这里有个点需要注意,数据 key 不是与节点绑定,而是与插槽绑定。

redis 集群会根据 key 的有效部分计算插槽值,分两种情况:

key 中包含 {},且“{}”中至少包含 1 个字符,“{}”中的部分是有效部分;

key 中不包含“{}”,整个 key 都是有效部分;

举例来说:key 是 num,那么就根据 num 计算,如果是{应用名称}num,则根据“应用名称”计算。计算方式是利用 CRC16 算法得到一个 hash 值,然后对 16384 取余,得到的结果就是 slot 值

下面不妨看下效果

redis 分片集群如何搭建与使用

通过上面的演示可以发现,经过集群计算的 key 将会分配到不同的插槽上,也就是说,key 是与插槽绑定,而不是与某个节点绑定,想想为什么会这样呢?

思考下面这个需求

如何将同一类数据固定的保存在同一个 Redis 实例?

简单来说,如果 key 的分配完全没有规则的话,当涉及到某个业务类的数据对应的 key 随机分配到不同的节点上面时,取值的时候就会出现像上面的重定向跨节点的问题,一定程度上提升性能;

解决办法

这一类数据使用相同的有效部分,例如 key 都以 {业务 ID} 为前缀

redis 分片集群如何搭建与使用

集群伸缩(添加节点)

reids 的 cluster 模式下,有一个比较强的功能就是集群的伸缩能力,即在现有的集群基础上,可以根据实际的业务需求,进行集群的伸缩,下面来演示下给上面的集群添加一个新节点的步骤;

1、在当前目录下拷贝一个目录

redis 分片集群如何搭建与使用

2、修改配置文件的端口

sed -i s/6379/7004/g 7004/redis.conf

redis 分片集群如何搭建与使用

3、启动这个实例

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7004/redis.conf

redis 分片集群如何搭建与使用

4、使用下面的命令将 7004 实例假如集群

redis-cli --cluster add-node IP:7004 IP:7001

redis 分片集群如何搭建与使用

5、再次查看集群状态

redis-cli -p 7001 cluster nodes

redis 分片集群如何搭建与使用

通过上面的状态信息发现,7004 这个节点虽然加入了集群,并成了 master,但是集群并没有给它分配任何的插槽

6、分配插槽

分配插槽的基本思路是,从现有的某个节点上迁移部分插槽到新的节点即可,执行下面的命令进行插槽分配

redis-cli --cluster reshard 101.34.23.80:7001

执行命令后将出现下面的提示,这里输入你要转移的插槽数量

redis 分片集群如何搭建与使用

将 7004 对应的实例 ID 输入即可

redis 分片集群如何搭建与使用

redis 分片集群如何搭建与使用

输入 yes 后开始移动插槽

redis 分片集群如何搭建与使用

redis 分片集群如何搭建与使用

移动完成后,再次查看集群状态,这时候 7004 对应的节点就分配到了从 0 ~ 500 的数量的插槽

redis 分片集群如何搭建与使用

故障转移

redis 的 cluster 模式的集群,还具备一定的故障转移能力,比如在上面的架构模式下,当集群中的某个 master 节点宕机之后,会出现什么情况呢?下面我们来模拟下这个过程,看看效果如何

1、使用 watch 命令监控下集群的状态

通过这个命令可以实时查看集群的动态日志变化

watch redis-cli -p 7001 cluster nodes

redis 分片集群如何搭建与使用

2、手动将 7002 实例的 master 宕机

redis-cli -p 7002 shutdown

redis 分片集群如何搭建与使用

从上面的监控日志不难发现,当 7002 挂掉后,过了一会儿与集群以及它的从节点 8003 失去了联系,然后 8003 这个节点升级为 master 节点;

3、手动将 7002 实例启动起来

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf

redis 分片集群如何搭建与使用

再次分析日志,可以看到这时候 7002 只能以 slave 的身份加入了集群,事实上在某些情况下,我们仍然希望这个宕机的节点恢复后依然是主节点,这该怎么办呢?这就涉及到了手动故障转移,主要操作步骤如下:

使用 redis-cli 连接 7002 节点;

执行 cluster failover 命令;

在上面执行之后的情况下,7002 是一个 slave 节点

redis 分片集群如何搭建与使用

执行 CLUSTER FAILOVER 命令,观察日志动态变化,通过日志变化,可以看到,命令执行完毕后,7002 很快就变成了 master,而 8003 成了 slave;

redis 分片集群如何搭建与使用

通过以上步骤就完成了 redis 的 cluster 模式下的故障转移的过程

使用 redistemplate 访问分片集群

1、引入依赖

dependency 
  groupId org.springframework.boot /groupId 
  artifactId spring-boot-starter-data-redis /artifactId 
 /dependency

2、将配置文件中的集群地址修改成下面这样即可

spring:
 redis:
 cluster:
 nodes:
 -  集群 IP:7001
 -  集群 IP:7002
 -  集群 IP:7003
 -  集群 IP:7004
 -  集群 IP:8001
 -  集群 IP:8002
 -  集群 IP:8003

至于具体的代码部分,可以参考下面的这个测试案例

@Autowired
 private RedisTemplate String,String  redisTemplate;
 //localhost:8083/set?key=b value=123
 @GetMapping(/set)
 public void set(@RequestParam String key,@RequestParam String value){ redisTemplate.opsForValue().set(key,value);
 }
 //localhost:8083/get?key=b
 @GetMapping(/get)
 public String get(@RequestParam String key){ return redisTemplate.opsForValue().get(key);
 }

读到这里,这篇“redis 分片集群如何搭建与使用”文章已经介绍完毕,想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会,如果想了解更多相关内容的文章,欢迎关注丸趣 TV 行业资讯频道。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-07-13发表,共计5097字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)