redis集群模式下,希望在多个slot都建立副本数据,key怎么设计?

作者站长头像
站长
· 阅读数 19

比如现在redis有3个集群分片(A、B、C),有一个高频热点key,保存在分片A上,会导致请求的倾斜,使得A分片的读取压力过大。

现在希望将key设计成:key1、key2、key3,都对应相同的value存储的时候:key1存在分片Akey2存在分片Bkey3存在分片C

查询的时候:key随机转化成key1、key2、key3的其中一个,然后路由到某个分片上。

key1、key2、key3的值改怎么设计?开发人员怎么知道一个key对应的哈希值是多少

回复
1个回答
avatar
test
2024-06-24

最近看了一下docker搭建redis集群的知识,我来自己回答一下这个问题吧。

哈希槽原理

首先redis cluster会创建[0,16383]哈希槽,供多个集群分片使用。当set Key Value保存数据时,redis会使用★【CRC16算法】★,计算key的hash值。具体公式 : 槽位 = CRC16.crc16(key) % 16384

(具体算法可参考jar包【io.lettuce:lettuce-core】中的SlotHash.getSlot("Key")方法,只需要项目依赖jar包【spring-boot-starter-data-redis】,就可以引入lettuce的核心组件)

后缀拼接序号方案(行不通)

所以直接在将key拼接数字后缀,形成key-1,key-2,key-3,最终形成的hash并不能保证分别落在不同的分区哈希槽上,来降低热点数据key在单个节点的负载。参考如下代码:

import io.lettuce.core.cluster.SlotHash;

public class TestHashSlot {
    public static void main(String[] args) {
        /*
        redis集群中3个主节点的槽位
        分片1:[0,5460]
        分片2:[5461,10922]
        分片3:[10923,16383]
         */
        String mykey = "Key-Test";
        System.out.println(SlotHash.getSlot(mykey+"01"));// 6582     插入到分片2
        System.out.println(SlotHash.getSlot(mykey+"02"));// 10709    插入到分片2
        System.out.println(SlotHash.getSlot(mykey+"03"));// 14836    插入到分片3
    }
}

综上,通过key拼接数字后缀并不能在redis集群模式下,实现副本key在多个节点上的平均分布。

其他解决方案:

【方案1】引入额外的redis服务单独存储热点数据

此时:

  • 第一部分:redis使用集群模式,通过分配哈希槽,来实现海量key的分布式存储
  • 第二部分:redis建立多个独立的主从,每个主从中,都具有相同的热点数据副本,插入时全部插入,读取时随机读取一个。answer image

【方案2】本地缓存法(即二级缓存)

直接使用本地缓存,比如ehcache,当读取高频热点数据时,直接内存中读取。可以设置较短的过期时间,只要数据一直高频访问,就不会过期。在高频读取场景下,节省了reids的网络io成本,更推荐

回复
likes
适合作为回答的
  • 经过验证的有效解决办法
  • 自己的经验指引,对解决问题有帮助
  • 遵循 Markdown 语法排版,代码语义正确
不该作为回答的
  • 询问内容细节或回复楼层
  • 与题目无关的内容
  • “赞”“顶”“同问”“看手册”“解决了没”等毫无意义的内容