flink常见的实时去重方案：
- 基于状态后端
- 基于HyperLogLog
- 基于布隆过滤器（BloomFilter）
- 基于BitMap
- 基于外部数据库
基于状态后端的flink实时去重
maven环境，IDEA的情况下使用rocksdb需要添加依赖到pom文件
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-statebackend-rocksdb</artifactId>
<version>${flink.version}</version>
<scope>provided</scope>
</dependency>
思路，数据去重的最常见的就是相同的key只处理一次，处理过的值加入到状态（MapState）中，每来一次数据都在MapState中判断一次是否存在，如果存在则忽略，否则处理完加入MapState中。由于实际环境数据是无界的，将海量的key-value存入内存是非常危险的，所以采用了rocksDB去序列化到磁盘。
下面测试环境，通过flink的数据生成器，生成0-9的随机数组成字符串作为source，生成的数据数量为20，通过KeyedProcessFunction方法处理数据，最终输出num:0-num:9的10个数据。
程序：
package source;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.state.MapState;
import org.apache.flink.api.common.state.MapStateDescriptor;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.connector.source.util.ratelimit.RateLimiterStrategy;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.connector.datagen.source.DataGeneratorSource;
import org.apache.flink.connector.datagen.source.GeneratorFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.contrib.streaming.state.EmbeddedRocksDBStateBackend;
//import org.apache.flink.runtime.state.hashmap.HashMapStateBackend;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.util.Collector;
import java.util.Random;
public class randomDataGen {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1); // 设置全局并行度为1。
// 使用 rocksdb状态后端
EmbeddedRocksDBStateBackend embeddedRocksDBStateBackend = new EmbeddedRocksDBStateBackend();
env.setStateBackend(embeddedRocksDBStateBackend);
// 重写数据生成器的方法，生成0-9以内的随机数用于测试
// 输出为String类型：num:0,num:1,num:3,...num:9
Random random = new Random();
DataGeneratorSource<String> dataGeneratorSource = new DataGeneratorSource<>(
new GeneratorFunction<Long, String>() {
@Override
public String map(Long aLong) throws Exception {
int i = random.nextInt(10);
return "num:" + i;
}
},
20, // 生成数量20
RateLimiterStrategy.perSecond(1),
Types.STRING
);
DataStreamSource<String> stringDataStreamSource = env.fromSource(
dataGeneratorSource,
WatermarkStrategy.noWatermarks(),
"data-generator"
);
KeyedStream<String, String> keyedStream = stringDataStreamSource.keyBy(
new KeySelector<String, String>() {
@Override
public String getKey(String value) throws Exception {
String[] split = value.split(":");
return split[1];
}
}
);
keyedStream.process(
new KeyedProcessFunction<String, String, String>() {
MapState<String, String> valueMapState;
@Override
public void open(Configuration parameters) throws Exception {
super.open(parameters);
valueMapState = getRuntimeContext().getMapState(new MapStateDescriptor<String, String>("valueMS", Types.STRING, Types.STRING));
}
@Override
public void processElement(String s, KeyedProcessFunction<String, String, String>.Context context, Collector<String> collector) throws Exception {
String key = s.split(":")[1]; // 取出key用于判断以及插入状态后端
if (!valueMapState.contains(key)){
// 如果状态后端mapState不存在该值就添加进去并加入collect返回
valueMapState.put(key, s);
collector.collect(s);
}
// 如果已存在，则忽略该值
}
}
).print();
env.execute("testApplication");
}
}
程序实际输出：
因为是随机生成的数据，可以发现本次执行是没有输出num:6的。
异常
如果是Windows环境下执行上述代码，可能会遇到flink rocksdb Can't find dependent libraries librocksdbjni-win64.dll，这里截取了部分错误信息。
该异常分析过程：www.cnblogs.com/wuxun1997/p…
以及github的issue：github.com/facebook/ro…
如果出现该问题你们可以从上述博客中寻找解决方案，我没有解决这个问题，切换到wsl中执行了。
