1、Canal 位点管理（日志管理器）1.1 类图1.正如上文提到的那样，在 Canal Instance 启动的时候，首先会查询日志管理器中查找上一次的同步位点，如果没有查询到，则默认会从最新的位点开始同步，但如果每一次启动Instance都从最后开始同步，其数据完整性无法保证...

前面的文章里，我们了解到 canal 可以从 MySQL 中感知数据的变化。这是因为它模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，从而实现了主从复制。 今天，笔者准备就着这两个问题，扒拉扒拉 canal 的代码，一探究竟。 在谈 canal …

在产品上线之后，我们的数据是相当重要的，容不得半点闪失，应该做好万全的准备，搞不好哪一天被黑客入侵或者恶意删除，那就 gg 了。所以要对我们的线上数据库定时做全量备份与增量备份。例如：每天做一次增量备份，每周做一次全量备份。 GitHub 地址： 如上一段代码所示，其功能是将 …

这三种log也是面试经常会问的问题，下面我们一起来探讨一下吧。 binlog应该是日常中听的最多的关于mysql中的log。 binlog是用于记录数据库表结构和表数据变更的二进制日志，比如insert、update、delete、create、truncate等等操作，不会记…

传统的单体架构的时候，我们基本是单库然后业务单表的结构。每个业务表的ID一般我们都是从1增，通过AUTO_INCREMENT=1设置自增起始值，但是在分布式服务架构模式下分库分表的设计，使得多个库或多个表存储相同的业务数据。这种情况根据数据库的自增ID就会产生相同ID的情况，不…

从业以来主要在做客户端，用到的数据库都是表结构比较简单的 SQLite，以我那还给老师一大半的 SQL 水平倒也能对付。现在偶尔需要到后台的 SQL Server 里追查一些数据问题，就显得有点捉襟见肘了，特别是各种 JOIN，有时候傻傻分不清楚，于是索性弄明白并做个记录。 前言…

国庆在家无聊，我随手翻了一下家里数据库相关的书籍，这一翻我就看上瘾了，因为大学比较熟悉的一些数据库范式我居然都忘了，怀揣着好奇心我就看了一个小国庆。 看的过程中我也做了一些小笔记，可能没我之前系统文章那么有趣，但是绝对也是干货十足，适合大家去回顾或者面试突击的适合看看，也不多说…

在早期的时候，阿里巴巴公司因为杭州和美国两个地方的机房都部署了数据库实例，但因为跨机房同步数据的业务需求 ，便孕育而生出了canal，主要是基于trigger(触发器)的方式获取增量变更。从 2010 年开始，阿里巴巴公司开始逐步尝试数据库日志解析，获取增量变更的数据进行同步，…

最近用go语言写了个爬虫，爬了几百万条数据，存在 mysql 里，数据量较大，一个表就一两G的程度(mysql表一般不要超过2G)。 使用查询语句非常之慢，而且我要经常使用到"LIKE",一条语句返回结果耗时 10~30 秒，这可不行。所以决定把数据迁移到 ES。真的是踩坑了，…