加密后的数据该如何支持模糊查询

站长

2023年08月27日 22:42 · 阅读数 9

大家好，我是小趴菜，在日常工作中，我们经常会有一些模糊查询的条件，比如说按照手机号模糊查询，或者是身份证号码。正常情况下我们可以使用

  select * from user where mobile like %123%

来模糊查询，但是这种方式是在你的手机号码没有加密的前提下，但是对于一些用户私密数据，我们在数据库都会进行加密保存。这时候有些人会说，那我把条件也加密，然后进行模糊查询不就可以了吗？事实真是这样吗？

看下面这个例子，我们将手机号进行加密，这时候我们要搜索手机前缀为136的手机号，这时候你讲条件进行加密，然后查询，你会发现，加密出来的是二个完全不一样的字符串，所以你根本就查不出来

加密后的数据该如何支持模糊查询

方案一(数据量少可用，数据量多不推荐)

第一种方案就是我们可以将所有数据都查询出来，然后在内存中将所有的手机号进行解密，然后在做一个匹配，这种方式优缺点也很明显

优点

1：简单方便，没有复杂的实现逻辑

缺点

1:每次查询都需要把整张表的数据都查询来，然后将所有的手机号进行解密
2:如果数据量过大，就会导致OOM的异常

方案二(解决了，又好像没解决)

我们现在是要按照手机号进行一个模糊查询，这时候我们可以建一张表，这张表就的字段有二个，一个是手机号，一个是手机号加密后的数据


   id   mobile                mobileSm4                                     userID
   1    13687976543           cnjdwcnbdsjbcxsbchbxchsjbcndsjc                 1
   2    17826767634           ncjnwcsdncjndcjnkdjsncjkdsbcjkbsdcjksk          2

这时候比如我们要查询手机号前缀是 178 的数据，我们可以先查这张表 select userId from user_mobile where mobile like %178%

这时候就可以拿到对应的userId，然后再去用户表去查询我们需要的记录，看起来好像是解决了这个问题，但是仔细想想，我们的手机号还是没有加密存储，所以说好像是解决了这个问题，但是好像又没解决，手机号还是存在明文存储

方案(推荐：分片加密存储)

密文检索的功能实现是根据4位英文字符（半角），2个中文字符（全角）为一个检索条件。将一个字段拆分为多个，

比如：taobao123 使用4个字符为一组的加密方式。第一组 taob ，第二组aoba ，第三组obao ，第四组 bao1 … 依次类推如果需要检索所有包含检索条件4个字符的数据比如：aoba ，加密字符后通过key like “%partial%” 查库。

我们的手机号是11位数，我们每4位作为一个分片

public static void main(String[] args) {
    String mobile = "12345678765";
    int index = 0;
    for(;;) {
        String str = mobile.substring(index);
        if(str.length() < 4) {
            break;
        }
        String newStr = mobile.substring(index,index + 4);
        System.out.println(newStr);
        index ++;
    }
}

-- 拆分之后的数据
1234
2345
3456
4567
5678
6787
7876
8765

将拆分之后的每一个数据都进行加密

public static void main(String[] args) {
    String mobile = "12345678765";
    int index = 0;
    for(;;) {
        String str = mobile.substring(index);
        if(str.length() < 4) {
            break;
        }
        String newStr = mobile.substring(index,index + 4);
        //加密
        System.out.println(Sm4Util.encryptContent(newStr));
        index ++;
    }
}

-- 拆分之后加密的数据

u8tmlwJVnLfvZ2UCNNq1cQ==
6jM7/pmu96lzVf2MawpvhA==
bReLKTeGKg4qBpM9PujKSw==
PkzJbyfDMU8r89lzx3+6oQ==
AO9h/+dppoQkTHuxVpuWHA==
pcTePBiRWEu1i9ad/SvmyA==
AlmQNdcUyvO5Te3eGZCl2Q==
84NxP14emISlfmL4oWZdwA==

这时候我们数据库就有一个手机号加密之后的扩展字段，如下


   id              mobile                                         mobileSm4                                     
   1    u8tmlwJVnLfvZ2UCNNq1cQmckdmwcknkwdc           u8tmlwJVnLfvZ2UCNNq1cQ==6jM7/pmu96lzVf2MawpvhA==bReLKTeGKg4qBpM9PujKSw==PkzJbyfDMU8r89lzx3+6oQ==pcTePBiRWEu1i9ad/SvmyA==

我们将拆分后的每一个分片加密后的数据进行拼接，最后保存到扩展字段里面去

那么在查询的时候，比如说查询 1365 ，这时候1365这个数据是我们之前可能存在的一个分片数据，将1365进行加密，然后在扩展字段中进行模糊查询即可

但是使用分片的话会有几个缺点

比如我们现在手机号是按照4个数字进行分片，如果模糊查询的条件是136，三个数字，那么这时候就查不到了，当然如果你按照3个数字进行分片就可以了，但是不建议
我们要增加扩展字段来保存分片数据，存储需要更大的空间

这是阿里文档给出的建议： open.taobao.com/docV3.htm?d…

加密后的数据该如何支持模糊查询