大数据领域数据源有业务库的数据，也有移动端埋点数据、服务器端产生的日志数据。我们在对数据进行采集时根据下游对数据的要求不同，我们可以使用不同的采集工具来进行。今天老刘给大家讲的是同步mysql增量数据的工具Canal，本篇文章的大纲如下： 老刘争取用这一篇文章让大家直接上手 C…

近期需要重构一个老系统，需要从几个服务中实时同步订单的修改到重构表里。 在每个服务的mysql操作前埋点，发送修改信息到队列或服务上。这种方案需要修改多个服务的代码并且测试对原系统的影响，有额外开发和测试成本。 同步mysql的binlog，根据表的insert和update更…

公司要做一个搜索，数据量不大但是着急，引入ES就显得来不及了，于是决定就用mysql的全文索引原地实现，过程中踩了一些坑： 一开始是就是简单了使用了FULLTEXT全文索引，结果却并不满意，怎么优化呢

mvcc 事务版本控制1.多个事务共同操作一条数据可能产生的问题多个事务同时对一条数据进行crud 操作可能遇到的问题呢 这里其实 可能会遇到 脏写丶脏读、不可重复读、幻读的情况1.脏写脏写 就是 假