一条路上的咸鱼

本文介绍了从第一代基于Hadoop体系的离线数据同步，到第二代基于DolphinScheduler和StarRocks的改进方案，再到第三代基于Python自定义的离线数据同步的演变过程。

在Redis中缓存数据的时候，有一些特殊类型的字段存储之后，在重新获取的时候，会发现其类型发生了变化，本文提供了一种保持类型的方法。

使用一台4C8G服务器，轻松实现2个MySQL数据库实例，复制分库分表情况下超过5000余张表的数据实时同步StarRocks

在看一个算法是否优秀时，我们一般都要考虑一个算法的时间复杂度和空间复杂度。现在随着空间越来越大，时间复杂度成了一个算法的重要指标，那么如何估计一个算法的时间复杂度呢？ 首先看一个时间复杂度不同的两个算法，解决同一个问题，会有多大的区别。 下面两个算法都是用来计算斐波那契数列的，…

redis高并发：主从架构，一主多从，一般来说，很多项目其实就足够了，单主用来写入数据，单机几万QPS，多从用来查询数据，多个从实例可以提供每秒10万的QPS。 redis高并发的同时，还需要容纳大量的数据：一主多从，每个实例都容纳了完整的数据，比如redis主就10G的内存量…

（1）解耦：可以在多个系统之间进行解耦，将原本通过网络之间的调用的方式改为使用MQ进行消息的异步通讯，只要该操作不是需要同步的，就可以改为使用MQ进行不同系统之间的联系，这样项目之间不会存在耦合，系统之间不会产生太大的影响，就算一个系统挂了，也只是消息挤压在MQ里面没人进行消费…

RabbitMQ基于主从模式实现高可用。RabbitMQ有三种模式：单机模式，普通集群模式，镜像集群模式。 单机模式就是demo级别的，生产中不会有人使用。 普通集群模式就是在多台机器上启动多个rabbitmq实例，每个机器启动一个。但是创建的queue只会放在一个rabbit…

简单来说，幂等性就是一个数据或者一个请求，给你重复来了多次，你得确保对应的数据是不会改变的，不能出错。 （1）首先，比如rabbitmq、rocketmq、kafka，都有可能会出现消息重复消费的问题。因为这个问题通常不是由mq来保证的，而是消费方自己来保证的。 kafka有一…

数据不能多，也不能少，不能多是说消息不能重复消费，这个我们上一节已解决；不能少，就是说不能丢失数据。如果mq传递的是非常核心的消息，支撑核心的业务，那么这种场景是一定不能丢失数据的。 丢数据一般分为两种，一种是mq把消息丢了，一种就是消费时将消息丢了。下面从rabbitmq和k…