卷土的土

Logminer 用于分析 Oracle 的日志，可以用于数据恢复。 许多同步工具软件例如：Debezium、CloudCanal 使用 Logminer 进行增量数据同步...

最近对于全周期数据流动进行了初步探索，打通了Hive 目标端的实时同步，为实时数仓的构建提供了支持，这篇文章简要做下分享。 基于临时表的增量合并方式 基于 HDFS 文件写...

背景知识 什么是地理信息数据 地理信息数据的定义主要来自于我们熟知的星球——地球。我们知道地球表面是一个凸凹不平的表面，是一个近似的椭球体。以海平面为参照已知最高点和最低点...

本文主要介绍 CloudCanal 数据防重能力，降低数据汇聚场景各个来源数据表名冲突、主键/唯一键约束冲突的概率，从而让用户更加便捷地落地在线数据应用。...

最近工作中线上环境发现几个进程 CPU 异常飙高，在应用层面排查了很久也没有发现问题，那只能抓堆栈来看看具体的情况了。 开始排查 top 查看 cpu 飙高的进程获取 pi...

在 MySQL 实时数据同步领域，Alibaba 的 Canal 工具无疑在数据同步方面发挥着重要的作用。在我的日常工作中，我经常使用 Canal 处理与大数据相关的数据同...

GitHub 对于程序员而言并不陌生，我们常常在这里寻找各种开源项目。然而，当我们发现某个项目存在 Bug 时，通常的做法是提交 Issue 并静静地等待作者修复......

什么是 StarRocks？ StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的...

最近我致力于实现 PostgreSQL 到 Elasticsearch（ES）的实时同步功能。PostgreSQL 同步到 ES 后 Timestamp 类型少了 8 小时...

写入到 ES 报 java.io.IOException: Connection reset by peer 异常，数据不太多，几个小时写入一次。...

基于触发器实现 Sap Hana 实时数据同步，简介 SAP HANA 是由SAP开发的一款内置列式数据库的系统平台，除内置数据库以外，还具有高级分析功能......

简述 Debezium 是一个开源的数据订阅工具，它可以捕获数据库的 CDC 变更数据发送到 Kafka。 为了实现将数据发送到其他数据库的目的，我们可以将 Kafka 中...