caimingjian

基于flink搭建流批一体的数据同步链路。对来自mysql、离线数据、用户点击事件等数据同步到ES引擎，供业务方检索。这类需求可以归纳为两类：流处理和批处理。该系统分3部分构成：事件源产生、数据组装、

搜索推荐中需要结合用户的偏好特征对商品进行重排序，一个商品需要召回8个特征。理论上商品越多，rt越长。现有200个商品需要批量计算。 刚开始按正向逻辑编写完代码，整个rt在800ms左右，平均到每个商品是4ms左右。对于一般的业务场景，这个rt算比较正常的，但还有优化空间 使用…

背景: 有1亿多的用户画像中数仓需要导入ES。大多数字段都是sql统计数据，无法区分哪些发生了变化，所以不能增量更新。只能每天全量刷数据。在刷数据的过程中出现了更新缓慢、内存问题。于是做了一些写入优化。 1. 读数据 `问题：1.刷数据ES报413错误。ES建议每次bulk5~…