日志脱敏
这两天在做项目的时候发现了一个很重要的bug——日志中出现很多敏感词汇，比如电话号码，手机号，身份证等信息，一般情况下这些信息都是需要脱敏的，所以为了解决这个问题，也翻阅了很多资料。也找到了很好的结局方案。
1.1 什么是脱敏
1） 数据加密
为了保证信息的安全，会对明文数据进行一些处理，通常的做法就是对明文数据进行加密，加密的算法也很多，比如对称加密和非对称加密等等。虽然说某种程度上实现了数据安全，但是密钥的管理以及对系统性能有一定的消耗，但是对数据可以复原，这是一大优点。
2）数据脱敏
在一个不可逆转的过程中，敏感数据的真实值被转换成虚构的、但看起来逼真的值，原始值被永久改变且无法恢复。
综上，我们总结一下数据加密相较于脱敏的不足之处：
-
数据加密不能完全从技术上保证数据的安全。严格来说，任何有权访问用户数据的人员，如ETL工程师或是数据分析人员等，均有可能导致数据泄漏（数据脱敏能够更好地保证数据隐私性）。
-
没有访问用户数据权限的人员，也可能存在对该数据进行分析挖掘的需求，数据的访问约束大大限制了充分挖掘数据价值的范围（数据脱敏能保证数据的可用性）。
-
解密密钥存储位置、如何存储以及确定谁具有访问权限等工作都会给整个安全项目增加额外的成本、故障点，扩大复杂度。
1.2 怎么实现日志脱敏
日志脱敏主要有两种实现方式
-
注解 -
写死配置
写死配置的扩展性比较差，所以通过注解来实现是一种比较好的方式。一下是注解实现的主要代码。
敏感信息枚举
/**
* 敏感信息的枚举
*/
public enum SensitiveType {
/**
* 姓名
*/
Name,
/**
* 电话
*/
Phone,
/**
* 地址
*/
Address;
}
自定义注解
import java.lang.annotation.*;
@Target({ElementType.TYPE, ElementType.FIELD})
@Retention(RetentionPolicy.RUNTIME)
@Inherited
@Documented
public @interface SensitiveAnnoation {
//敏感类型
SensitiveType type();
//注解是否生效
String isEfectiveMethod() default "";
}
要处理的实体类
public class Person {
//用户id
private Integer id;
//用户姓名
@SensitiveAnnoation(type = SensitiveType.Name)
private String name;
//用户电话号码
@SensitiveAnnoation(type = SensitiveType.Phone)
private String Phone;
public Integer getId() {
return id;
}
public void setId(Integer id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getPhone() {
return Phone;
}
public void setPhone(String phone) {
Phone = phone;
}
@Override
public String toString() {
return "Person{" +
"id=" + id +
", name='" + name + ''' +
", Phone='" + Phone + ''' +
'}';
}
}
脱敏工具类
需要导入以下gradle包
implementation group: 'commons-lang', name: 'commons-lang', version: '2.6'
implementation group: 'com.google.code.gson', name: 'gson', version: '2.8.7'
implementation group: 'com.alibaba', name: 'fastjson', version: '1.2.76'
package sensitive;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.serializer.SerializerFeature;
import com.google.gson.Gson;
import org.apache.commons.lang.ArrayUtils;
import org.apache.commons.lang.StringUtils;
import java.lang.reflect.Array;
import java.lang.reflect.Field;
import java.lang.reflect.Method;
import java.util.Collection;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Map;
import java.util.Map.Entry;
import java.util.Set;
import java.util.logging.Logger;
/**
* @Title: SensitiveInfoUtils.java
* @Copyright: Copyright (c) 2011
* @Description: <br>
* 敏感信息屏蔽工具<br>
*/
public class SensitiveUtils {
/**
* [中文姓名] 只显示第一个汉字，其他隐藏为2个星号<例子：李**>
* @param fullName
* @return
*/
public static String chineseName(String fullName) {
if (StringUtils.isBlank(fullName)) {
return "";
}
String name = StringUtils.left(fullName, 1);
return StringUtils.rightPad(name, StringUtils.length(fullName), "*");
}
/**
* [中文姓名] 只显示第一个汉字，其他隐藏为2个星号<例子：李**>
*
* @param familyName
* @param givenName
* @return
*/
public static String chineseName(String familyName, String givenName) {
if (StringUtils.isBlank(familyName) || StringUtils.isBlank(givenName)) {
return "";
}
return chineseName(familyName + givenName);
}
/**
* [身份证号] 显示最后四位，其他隐藏。共计18位或者15位。<例子：*************5762>
*
* @param id
* @return
*/
public static String idCardNum(String id) {
if (StringUtils.isBlank(id)) {
return "";
}
String num = StringUtils.right(id, 4);
return StringUtils.leftPad(num, StringUtils.length(id), "*");
}
/**
* [固定电话] 后四位，其他隐藏<例子：****1234>
*
* @param num
* @return
*/
public static String fixedPhone(String num) {
if (StringUtils.isBlank(num)) {
return "";
}
return StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*");
}
/**
* [手机号码] 前三位，后四位，其他隐藏<例子:138******1234>
*
* @param num
* @return
*/
public static String mobilePhone(String num) {
if (StringUtils.isBlank(num)) {
return "";
}
return StringUtils.left(num, 3).concat(StringUtils.removeStart(StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*"), "***"));
}
/**
* [地址] 只显示到地区，不显示详细地址；我们要对个人信息增强保护<例子：北京市海淀区****>
*
* @param address
* @param sensitiveSize 敏感信息长度
* @return
*/
public static String address(String address, int sensitiveSize) {
if (StringUtils.isBlank(address)) {
return "";
}
int length = StringUtils.length(address);
return StringUtils.rightPad(StringUtils.left(address, length - sensitiveSize), length, "*");
}
/**
* [电子邮箱] 邮箱前缀仅显示第一个字母，前缀其他隐藏，用星号代替，@及后面的地址显示<例子:g**@163.com>
*
* @param email
* @return
*/
public static String email(String email) {
if (StringUtils.isBlank(email)) {
return "";
}
int index = StringUtils.indexOf(email, "@");
if (index <= 1)
return email;
else
return StringUtils.rightPad(StringUtils.left(email, 1), index, "*").concat(StringUtils.mid(email, index, StringUtils.length(email)));
}
/**
* [银行卡号] 前六位，后四位，其他用星号隐藏每位1个星号<例子:6222600**********1234>
*
* @param cardNum
* @return
*/
public static String bankCard(String cardNum) {
if (StringUtils.isBlank(cardNum)) {
return "";
}
return StringUtils.left(cardNum, 6).concat(StringUtils.removeStart(StringUtils.leftPad(StringUtils.right(cardNum, 4), StringUtils.length(cardNum), "*"), "******"));
}
/**
* [公司开户银行联号] 公司开户银行联行号,显示前两位，其他用星号隐藏，每位1个星号<例子:12********>
*
* @param code
* @return
*/
public static String cnapsCode(String code) {
if (StringUtils.isBlank(code)) {
return "";
}
return StringUtils.rightPad(StringUtils.left(code, 2), StringUtils.length(code), "*");
}
/**
* 获取脱敏json串 <注意：递归引用会导致java.lang.StackOverflowError>
*
* @param javaBean
* @return
*/
public static String getJson(Object javaBean) {
String json = null;
if (null != javaBean) {
Class<? extends Object> raw = javaBean.getClass();
try {
if (raw.isInterface())
return json;
Gson g = new Gson();
Object clone = g.fromJson(g.toJson(javaBean, javaBean.getClass()), javaBean.getClass());
Set<Integer> referenceCounter = new HashSet<Integer>();
SensitiveUtils.replace(SensitiveUtils.findAllField(raw), clone, referenceCounter);
json = JSON.toJSONString(clone, SerializerFeature.WriteMapNullValue, SerializerFeature.WriteNullListAsEmpty);
referenceCounter.clear();
referenceCounter = null;
} catch (Throwable e) {
e.printStackTrace();
}
}
return json;
}
private static Field[] findAllField(Class<?> clazz) {
Field[] fileds = clazz.getDeclaredFields();
while (null != clazz.getSuperclass() && !Object.class.equals(clazz.getSuperclass())) {
fileds = (Field[]) ArrayUtils.addAll(fileds, clazz.getSuperclass().getDeclaredFields());
clazz = clazz.getSuperclass();
}
return fileds;
}
private static void replace(Field[] fields, Object javaBean, Set<Integer> referenceCounter) throws IllegalArgumentException, IllegalAccessException {
if (null != fields && fields.length > 0) {
for (Field field : fields) {
field.setAccessible(true);
if (null != field && null != javaBean) {
Object value = field.get(javaBean);
if (null != value) {
Class<?> type = value.getClass();
// 1.处理子属性，包括集合中的
if (type.isArray()) {
// 如果属性是数组类型
int len = Array.getLength(value);
for (int i = 0; i < len; i++) {
Object arrayObject = Array.get(value, i);
SensitiveUtils.replace(SensitiveUtils.findAllField(arrayObject.getClass()), arrayObject, referenceCounter);
}
} else if (value instanceof Collection<?>) {
// 如果属性是集合类型
Collection<?> c = (Collection<?>) value;
Iterator<?> it = c.iterator();
while (it.hasNext()) {
Object collectionObj = it.next();
SensitiveUtils.replace(SensitiveUtils.findAllField(collectionObj.getClass()), collectionObj, referenceCounter);
}
} else if (value instanceof Map<?, ?>) {
// 如果是map类型
Map<?, ?> m = (Map<?, ?>) value;
Set<?> set = m.entrySet();
for (Object o : set) {
Entry<?, ?> entry = (Entry<?, ?>) o;
Object mapVal = entry.getValue();
SensitiveUtils.replace(SensitiveUtils.findAllField(mapVal.getClass()), mapVal, referenceCounter);
}
} else if (!type.isPrimitive()
&& !StringUtils.startsWith(type.getPackage().getName(), "javax.")
&& !StringUtils.startsWith(type.getPackage().getName(), "java.")
&& !StringUtils.startsWith(field.getType().getName(), "javax.")
&& !StringUtils.startsWith(field.getName(), "java.")
&& referenceCounter.add(value.hashCode())) {
SensitiveUtils.replace(SensitiveUtils.findAllField(type), value, referenceCounter);
}
}
// 2. 处理自身的属性
SensitiveAnnoation annotation = field.getAnnotation(SensitiveAnnoation.class);
if (field.getType().equals(String.class) && null != annotation) {
String valueStr = (String) value;
if (StringUtils.isNotBlank(valueStr)) {
switch (annotation.type()) {
case Name: {
field.set(javaBean, SensitiveUtils.chineseName(valueStr));
break;
}
case Phone: {
field.set(javaBean, SensitiveUtils.mobilePhone(valueStr));
break;
}
case Address: {
field.set(javaBean, SensitiveUtils.address(valueStr, 4));
break;
}
}
}
}
}
}
}
}
}
测试
public static void main(String[] args) {
Person p = new Person();
p.setId(1);
p.setName("李星云");
p.setPhone("123456789101");
System.out.println(SensitiveUtils.getJson(p));
}
以下是显示的结果
{"id":1,"name":"�***","phone":"123*****9101"}*
