canal
4篇文章 · 0订阅
  • 使用canal+kafka监听MySQL binlog小实践
    最近，想对MySQL有进一步的认识，看如何保证缓存与数据库一致性，在负责业务上也需要这方面的优化，有些文章提到使用监听MySQL binlog实现，想试下，本文纯属好奇心驱使。 binlog是MySQL server层维护的一种二进制日志，与innodb等存储引擎中的redo/…
    MySQL Redis
  • 基于 Docker 结合 Canal 实现 MySQL 实时增量数据传输
    在早期的时候，阿里巴巴公司因为杭州和美国两个地方的机房都部署了数据库实例，但因为跨机房同步数据的业务需求 ，便孕育而生出了canal，主要是基于trigger(触发器)的方式获取增量变更。从 2010 年开始，阿里巴巴公司开始逐步尝试数据库日志解析，获取增量变更的数据进行同步，…
    MySQL Docker
  • 8种ETL算法汇总大全！看完你就全明白了
    以上共计累积了8种ETL算法，其中主要分成4大类，增量累加、拉链算法是更符合数据仓库历史数据追踪的算法，但现实中基于业务及性能考虑，往往存在全删全插、增量累全算法的数据表应用。 主要应用在维表、参数表、主档表加载上，即适合源表是全量数据表，该数据表业务逻辑只需保存当前最新全量数…
    数据库
  • 玩转Otter、Canal系列 - 工作原理及全系列搭建流程
    首先, 在了解问题答案之前, 依据3w法则分析一波Otter/Canal。了解了这些更有利于我们解决相关的问题。 简而言之，在数据同步这块儿，目前独树一帜、功能强大、场景覆盖面广。 Canal属于Otter的一个核心组件, Otter除使用了Canal还使用了Node、Mana…
    数据库