KFS数据过滤-行过滤
关键字：
KingbaseFlysync、数据同步、数据过滤
一、skipeventbyvalue过滤器
KFS支持基于字段中某个值的sql过滤，使用 skipeventbyvalue过滤器+规则文件实现，比如:sql语句insert into xx(id,c1) values(1,’test’),过滤规则文件匹配字段c1的test值，如果值满足规则文件，那么就将此sql语句过滤掉，配置的值支持的数据类型为数值类型（int）、字符类型(varchar)、时间类型(date)。通过配置过滤规则，符合规则的dml语句将会被过滤、不在入库。
二、行过滤配置
在flysync.ini文件中添加如下配置:
svc-remote-filters= skipeventbyvalue
-----过滤器中添加skipeventbyvalue
property=replicator.filter.skipeventbyvalue.definitionsFile=${replicator.home.dir}/support/filters-config/skipeventbyvalue.json
---------------指定skipeventbyvalue过滤规则文件路径
三、skipeventbyvalue.json过滤规则文件配置
3.1 配置文件说明 3.1.1 单条件过滤场景
过滤规则使用json格式，故配置文件的内容需要符合json格式，以下边配置为例，各个配置参数的含义为：
{ "public.test": { --------需要过滤的表名，其配置方式为模式名.表名------- "condition": { -----------过滤规则主体--------- "column": "AGE", ----------AGE字段作为判断主体----------- "function": ">", ----------过滤条件，可选>,<,<>,=,>=,<=---- "value": 18, ----------过滤条件阈值--------- "operator": "", ----------逻辑条件，可选and,or等------- "conditions": [] ----------多条件过滤规则主体，单条件不写，详情可见复合场景----- } }
该过滤规则表示，public.test表，AGE字段大于18的数据将被过滤丢弃，不做同步
3.1.2 多条件过滤场景
多字段单条件场景
{ /* 等效于 WHERE AGE > 18 AND SEX = '女' */ "public.test": { "condition": { "column": "", "function": "", "value": "", "operator": "", "conditions": [ { -----------多条件情况下，过滤规则写在conditions内--- "column": "AGE", "function": ">", "value": 18, "operator": "", "conditions": [] }, ---------------第一字段条件结束后，使用逗号隔开---------- { "column": "SEX", "function": "equals", --------字符类型函数条件，详情见数据类型章节 "value": "女", "operator": "AND", ---------逻辑条件，同sql逻辑一致----- "conditions": [] } ] } } }
以上过滤规则表示，public.test表，age>18，且sex为女的数据将被过滤丢弃
/* 等效于 WHERE AGE > 18 AND SEX = '女' */
多字段多条件场景
{ "public.test": { "condition": { "column": "", "function": "", "value": "", "operator": "" "conditions": [ { ----------单字段（AGE）多条件过滤规则开始---------- "column": "", "function": "", "value": "", "operator": "", "conditions": [ { "column": "AGE", "function": ">", "value": 18, "operator": "", "conditions": [] }, { "column": "AGE", "function": "<", "value": 35, "operator": "AND", "conditions": [] } ] }, -----------------AGE字段过滤规则结束--------------- { ---------------SEX字段过滤规则主体----------------- "column": "SEX", "function": "equals", "value": "女", "operator": "AND" "conditions": [] } ] } } }
以上过滤规则表示，public.test表，AGE大于18，小于35，且sex为女的数据将被过滤丢弃 WHERE (AGE > 18 AND AGE < 35) AND SEX = '女'
3.2 数值规则类型介绍
KFS规则文件中支持配置不同的数据类型来匹配，主要是分为数值型（int、number、double等），字符型（varchar、nvchar等），时间类型（date、timestamp等）
3.2.1 数值类型
对于过滤字段值是数据类型的情况，配置规则文件如下：
{ /* 等效于 WHERE AGE > 18 */ "SCHEMA_NAME_1.TABLE_NAME_1": { "condition": { "column": "AGE", "function": ">", -----可选>,<,<>,>=,<=,= "value": 18, -----规则使用的值 "operator": "", "conditions": [] } }
3.2.2 字符类型
{ /* 等效于 WHERE SEX = '女' */ "SCHEMA_NAME_1.TABLE_NAME_1": { "condition": { "column": "SEX", "function": "equals", "value": "女", "operator": "", "conditions": [] } }
字符类型的函数配置为：
equals = ,以上述例子举例，等效于WHERE SEX = '女
equalsignoreCase 不区分大小写，均作为大写匹配，等效于 WHERE upper(SEX) = upper('女')
startsWith 后模糊，等效于 WHERE SEX LIKE '女%'
endsWith 前模糊，等效于WHERE SEX LIKE '%女'
contains 全模糊，等效于 WHERE SEX LIKE '%女%'
3.2.3 时间类型
{ "SCHEMA_NAME_1.TABLE_NAME_1": { "condition": { "column": "BIRTH", "function": ">", -----同数值类型---- "value": "2008-08-08" "operator": "" "conditions": [] } }
四、总结
skipeventbyvalue支持多字段、多条件过滤，支持and,or等逻辑结合，本文中仅举例AND，可以灵活组合，满足不同的场景
参考文档： 《KFS常见过滤器配置一览》 更多信息，参见help.kingbase.com.cn/v8/index.ht…
