鸟人不会飞

Hadoop的一个重要思想就是移动计算，而不是移动数据。我们更愿意尽可能将计算移动到数据所在节点。因此，HDFS中经常出现客户端和数据在一个节点上，当客户端读取一个数据块时，就会出现本地读取。例如HBase场景，ResionServer写数据一般在HDFS中都会存储三备份副本并…

​  大数据架构师是一个综合学科，除了平台编码，架构设计，更需要了解行业领域、以及具备产品和运维的思维能力。本文梳理了作为一个架构师应该具备哪些能力，文章比较长，干货满满，看完绝对有不同的感悟。 硬能

1. 概述 在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。 但是这样给后面数据分析带来了麻烦，这个时候我们通常试将业务数据库的分

端到端的实时计算：TiDB + Flink 最佳实践 作者简介 孙晓光，PingCAP Community Development 团队负责人，原知乎基础研发团队架构师，长期从事分布式系统相关研发工作

一. 背景 数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代。我们评估了几种开源产品，Canal、Debezium、Flink CDC 等产品。作了如下的对比： …

CDC,Change Data Capture,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等. 实时数据同步：比如我们将mysql库中的数据同步到我们的数仓中。 数…

小谈namespace以及inode。讲解NameNode的editlog以及fsimage。简单剖析高可用namenode的选举流程

仿照源码|HDFS之DataNode：启动过程，NameNode也从启动过程开始。 namenode的启动过程与HA紧紧绑定在一起，但本文暂不讨论HA相关内容，以后再填HA的坑。 namenode的启动过程围绕着safemode、HA等展开，启动之后，各种工作线程开始发挥作用。…

在我还不了解分布式和大数据的时候已经听说过HBase了，但对它一直都半知不解，这篇文章来讲讲吧。 在真实生活中，最开始听到这个词是我的一场面试，当年我还是个『小垃圾』，现在已经是个『大垃圾』了。 面试官当时给了一个场景题问我，具体的题目我忘得差不多了，大概就是考试与试题的一个场…