liverrrr

上篇文章中介绍Flink编程模型，这次我们们来看看Flink的Source和Sink，Flink支持向文件、socket、集合等中读写数据，同时Flink也内置许多connectors，例如Kafka、Hadoop、Redis等。这些内置的connectors都是维护精确一次语…

Flink中定义两个特殊类来代表数据：DataSet、DataStream，**两者与Java中的集合不同，它们是不可变的，也就是一旦被创建其中的数据不能被增添或者删除，同时它们允许数据可重复。**如果你使用如map、filter等算子，那么新的DataSet/DataStre…

Apache Flink 是一个分布式大数据处理引擎，可对有限数据流(bounded)和无限数据流(unbounded)进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行基于内存快速计算。 Flink 具备统一的框架处理有界和无界两种数据流的能力，下文会…

Structured Streaming将持续流动的数据看作一张无限进行插入的表，当有查询操作时，它会根据具体代码生成"结果表"，在间隔时间内每有一条数据进来，"结果表"都会被更新。当然Structured Streaming不会真正的将整张表实现，它其实只是读取最新的数据进行…

现有城市信息和产品信息两张表在MySQL中，另外有用户点击产品日志以文本形式存在hdfs上，现要求统计每个个城市区域下点击量前三的产品名，具体信息见下方。 4）shell脚本封装这个业务线的所有代码的思路，需要提及的一点，因为city_info/product_info数据变动…

部署安装解压并做软链接配置文件修改环境变量配置拷贝hive的mysql的jdbc驱动包到lib目录验证像Linux的help一样，我们也可以用sqoophelp看看有哪些命令

在某次启动hdfs之后，在一个月之后，需要将其重启，但却发现无法停止，无奈只有kill掉进程，再次启动。我并不打算将其问题放弃，想看看到底是什么原因导致这个情况。 看来情况就是无法停止DataNode，这个进程依旧存在，原因就是hdfs停止脚本找不到DataNode的pid。那…

不少公司还在使用MySQL5.6，所以本文章依旧以5.6为例演示。下载地址，分享码为：pvvc。将MySQL安装在/usr/local目录下。 为什么要创建软链接，请看我的上篇文章，详细介绍软链接使用场景，这就是其中一种。 创建MySQL专属的用户，可以做到其他用户不会误操作导…

常规流程是vi xxx 进入命令行模式--> 按i进入编辑 --> 按esc退出编辑，按shift+:进入命令行模式 --> 输入wq保存。但是文件内容一旦过多，这种模式就不太好用了，接下来介绍一些在命令行的快捷方式来进行快速编辑。 命令为ln -s 源文件路径 软链接所在路径…