大数据技术与应用实战

当我们想给flink贡献自己的代码的时候，就需要把代码下载下来，然后导入自己的IDE，其中有一个很重要的环节就是对代码规范的检查，也就是flink的checkstyle，如果我们只是靠在用maven编译的时候的出错信息来对flink进行调试，那么就太费事了，所以我们可以利用fl…

git log 查询一下 提交的日志，找到相应的commit. git log 查询一下 提交的日志，找到相应的commit. 别忘了最后那个 ^ ，表示指定commit id的前一个，这样会列出来指定commit id前一个id到最后所有的commit信息。然后我们就像用vi…

上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性. 写入hive底层还是和写入文件系统一样的，所以对于其他具体的配置参考上一篇. 下面我们讲解一下，如何使用java程序来构…

flink 1.11 版本发布了.有幸给flink贡献了几个PR，第一次让名字出现在了apache的官方网站上。 写篇随笔，聊聊自己的工作和开源，一直对于apache的项目，都是拿来用，这么多年，大数据的相关的乱七八糟的什么都在用，OLAP查询、存储、计算、平台、报表等等，我给…

flink提供了一个file system connector，可以使用DDL创建一个table，然后使用sql的方法写入数据，支持的写入格式包括json、csv、avro、parquet、orc。 下面我们简单的介绍一下相关的概念和如何使用。 在写入列格式（比如parquet…

在flink中，StreamingFileSink是一个很重要的把流式数据写入文件系统的sink，可以支持写入行格式(json,csv等)的数据，以及列格式（orc、parquet）的数据。 hive作为一个广泛的数据存储，而ORC作为hive经过特殊优化的列式存储格式，在hi…

今天我们来聊聊flink sql中另外一种自定义函数-TableFuntion. TableFuntion 可以有0个、一个、多个输入参数，他的返回值可以是任意行，每行可以有多列数据. 实现自定义TableFunction需要继承TableFunction类，然后定义一个pub…

一般程序员在开发一个东西的时候，很多人（包括我😀）都会习惯性的先去网上搜索一下类似的demo，然后拿来改一改（如果有能正常跑的代码还是我要的那就更好了😃）。这个大数据技术实战系列把我在工作和学习中遇到的一些例子整理一下，并提供大家可以正常运行的代码。 如果大家觉得有帮助，请…

flink CEP（Complex event processing），是在Flink之上实现的复杂事件处理库，可以允许我们在不断的流式数据中通过我们自己定义的模式（Pattern）检测和获取出我们想要的数据，然后对这些数据进行下一步的处理。 通过各种pattern的组合，我们…