故事从好多年前说起。 想必大家也听说过数据库单表**建议最大2kw**条数据这个说法。如果超过了，性能就会下降得比较厉害。 巧了。 我也听说过。

一名DBA的经历，做自己想做的，永不放弃，感谢生命中的贵人，我的师傅带我入行，感谢掘金平台，让我分享更多DBA的干货

canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。 canal-admin设计上是为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操…

每次服务的代码更新部署，难免会存在数据库结构的变更以及字典数据的添加，手动执行更新脚本是一个耗时耗力的工作，而且还会出现遗漏或者其他状况，SpringBoot内部集成了一个自动执行数据库脚本的第三方依赖Flyway来解决这个繁琐的问题。 官网给出的定义是Version cont…

近期需要重构一个老系统，需要从几个服务中实时同步订单的修改到重构表里。 在每个服务的mysql操作前埋点，发送修改信息到队列或服务上。这种方案需要修改多个服务的代码并且测试对原系统的影响，有额外开发和测试成本。 同步mysql的binlog，根据表的insert和update更…

当我们在项目开发初期时，往往需要设计大量的表，此时使用数据库设计工具就会比较高效！今天给大家推荐一款国人开源的数据库设计工具，界面漂亮，功能强大，希望对大家有所帮助！

一、电商实时数仓介绍 1.1、普通实时计算与实时数仓比较   普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，

目前公司离线数仓现状，数仓部门每日凌晨后处理昨天的线上业务数据，因此第二天业务人员才看到的报表，数据是T-1的，因此数据是具有滞后性，尤其在互联网金融公司，有业务人员需要做信贷的风险管控，及时的调整一些风控规则和策略，但是不能立刻看到效果，而是需要等到第二天才可以看到调整的效果…

    本文来自于大数据架构师吴庆志，江湖人称“中国好胖子”。稿件略有修改。    场景决定一切。离线数仓的时候数据更新频率是T+1，也就是说必须隔一天才能看到结果，今天看昨天的数据。但是数据界有一个确定的结论，就是数据越新，价值越大。于是就有了推荐、风控等各种实时应用场景，让数...