lxwei

随着 Hadoop 的发展，有了Hive，使用HQL 即可完成原来繁琐的Map Reduce 程序。 随着 Spark的发展，引入了 Spark SQL。 随着 Flink 版本的更迭，Flin…

Source 是 Flink 程序的输入，Sink 就是 Flink 程序处理完Source后数据的输出，比如将输出写到文件、sockets、外部系统、或者仅仅是显示（在大数据生态中，很多类似的，比如Flume里也是对应的Source/Channel/Sink）…

Source 就是Flink 程序的数据输入，Flink 提供了多种数据输入方式，下面逐一介绍。 Flink 预定义了多种Sources。 基于文件的，如readTextFile(path)、readFile(fileInputFormat, path)等; 基于socket的…

如上篇所述，Flink里时间包括EventTime、ProcessingTime和IngestionTime三种类型。ProcessingTime：ProcessingTime是算子处理某个数据时到系

本文转自我的个人博客，有兴趣的可以查看原文。 转发请注明来源。 最近工作需要，使用airflow搭建了公司的ETL系统，顺带在公司分享了一次airflow，整理成文，Enjoy！ Airflow is a platform to programmatically author,…

Apache Cassandra 是一个大规模可扩展的分布式开源NoSQL数据库，完美适用于跨数据中心／云端的结构化数据、半结构化数据和非结构化数据，同时，Cassandra 高可用、线性可扩展、高性能、无单点。 scalable，线性可扩展 fault-tolerant，且没…

本文不是详细的CQL教程，仅记录下CQL的一些要点。 keyspace类似关系型数据库中的database概念，Cassandra 的 keyspace 是一个命名空间，定义了数据备份的方式。举例如下，keyspace cycling 中所有的table 在数据中心 datac…

上篇介绍了Cassandra的架构、数据distribution 与 replication，本文主要介绍Cassandra的内部工作机制，包括存储引擎、Cassandra读写、数据一致性等。 在分布式系统中，有些系统写数据采用read-and-write 的方式（如Elast…