大数据

本文主要讲述Flink的整体架构，以及流处理任务涉及的各个算子的调度编排机制。为模仿实现一个简易流处理引擎作下铺垫。

通过本篇文章，可以帮助读者对数据可视化的概念和原理有一个整体的认知，并且介绍了数据可视化中常见的可视化图表的种类和使用场景。

在企业竞争越来越激烈，获客成本越来越高的背景下，如何高效地优化产品和精细化投放运营是当前企业竞争的关键，而用户数据分析正是我们保持此竞争力的重要手段。

本篇文章将模拟一个KV数据读写服务，从提供单一节点读写服务，到结合分布式一致性协议（Raft）后，逐步扩展为一个分布式的，满足一致性读写需求的读写服务的过程。

本篇文章主要分为四个方面介绍实时数据中心建设思路与企业实践：1. 企业数据架构；2. 数据中心案例；3. 实时数据生产；4. 数据服务

本篇文章首先讲解K8S的整体架构，介绍各个模块的功能，在此基础上梳理K8S使用各个组件完成项目部署时涉及的资源管理和调度方式

讲解 YARN 系统的设计思想和整体架构，两个核心模块 Resource Manger 和 Node Manager 的整体架构和主要职责

本文主要讲解了kafka作为分布式消息队列的整体架构，主要从：1.zookeeper；2.broker；3.controller选举；4.coorinator进行介绍

1.介绍 HBase 的适用场景和数据模型；2.分析 HBase 的整体架构和模块设计；3.针对大数据场景 HBase 的解决方案

文章主要讲解：1.HDFS 元数据服务的高可用；2.HDFS 数据存储高可用；3.HDFS 元数据服务的高扩展性；4.HDFS 数据存储的高扩展性

本文讲解了使用docker-compose部署单节点kafka的流程，并且在文章的后半部分给出了使用Go语言操作kafka进行生产消费的代码案例。

HDFS的使用场景，尤其是在大数据场景中的常规应用，同时也了解HDFS在其它场景的一些应用，加深对存储系统应用场景的理解。并且剖析了HDFS的整体架构，易于理解。

本文包括：1.shuffle概述；2.spark中的shuffle算子的基本特性；3.spark中的shuffle的过程；4.push shuffle的原理与实现

介绍实时计算中的Watermark概念，以及如何产生、传递，还有一些典型的生产实践中遇到的问题；介绍三种最基本的window类型，以及他们的实现原理；同时会结合业务场景介绍一些高级优化的功能和原理

本篇文章主要讲述了Flink是如何实现在分布式环境下，对于task的处理做到exactly-once的语义的（结合二阶段提交协议）

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

文章主要分为四个方面：1.大数据体系和 SQL；2.常见的查询优化器；3.查询优化器的社区开源实践；4.SQL 相关的前沿趋势。