易企秀工程师

正则表达式 -- 程序员的一个绕不开的话题，一个又爱又恨的神器，一个面试经常被问到的知识点，一个你似懂非懂云山雾罩的痛点。 看完这篇文章，以后如果面试官再问你：“了解正则吗？说说它的匹配原理和机制吧。” 如果有些同学有不太清楚的地方，那应该大部分会集中于 () / (?:) /…

最近，在使用Gensim Word2vec根据特定语料训练近义词模型，模型训练输入语料要求是分词之后的文件。使用结巴jieba对原始语料文件进行分词，在分词过程中，由于语料文件太大，将近五千万的数据量，出现了Memory Error问题。针对此问题，提供以下两种解决方式。同…

随着信息技术的发展，最稀缺的资源不再是信息本身，而是对信息的处理能力。且绝大多数信息表现为文本形式，如何在如此大量且复杂的文本信息中如何获取最有效的信息是信息处理的一大目标。文本分类可以帮助用户准确定位所需信息和分流信息。同时，互联网的快速发展催生了大量的书评影评、网络聊天…

线上服务报大量的Redis，相关依赖这个服务的其他产品线服务也报出同样的日志。 第一步：我们的redis 环境是基于哨兵模式，所以我们只看JedisSentinelPool 这个类文件就可以了，先看连接哨兵的初始化逻辑。 好，大家仔细看一下我们第二步的两个截图，我们通过假设论证…

线上服务报大量的Redis，相关依赖这个服务的其他产品线服务也报出同样的日志。 没有上线/相关请求的服务的流量和QPS都没有增加，故认为是redis 服务的问题，联系我们运维查相关服务是否有异常。进过排查重启了一台哨兵服务节点，但不影响服务。 坚决认为是服务有问题并认为是某个节…

在历时2个月的不断优化过程中，将数据采集系统的处理能力(kafka一个topic)从2.5万提升到了10万，基本符合对下一次峰值的要求了。 所有日志中，其中广告日志和作品日志量是最大的，所以本次的优化也是针对这两块进行优化。 广告日志接口TPS从之前的不到1k/s，提升到现在的…

可快速实现多维度自由组合分析查询，主要应用于OLAP钻取分析场景，比如，分小时、天、月的UV数。 以左侧维度为主聚合维度进行层级聚合，所有维度都为NULL时代表全部数据，rollup是cube的子集；可以快速实现由左及右的下钻分析。

term_vector为yes时会索引terms向量，加快相似度计算的速度；这里desc字段没有配置term_vector也是可以进行more_like_this查询的，但会有性能损耗，这里不配置是为了更好的说明问题，到线上应用需要都设置为yes。 like后面是数组可以跟多篇…

ES官方文档建议通过phrase Suggester实行搜索框的自动补全，但这种查询对中文支持不太友好，经常会不做提示；下面我们通过n-gram来实现符合中国人民使用习惯的提示框。 离线任务定时提取用户高频输入的搜索关键词与商品分类、标签信息索引到该字段；其中analyzer与…