Sakura__

在分布式大数据计算引擎这个领域，现在最常用的Apache Spark 早已支持 python语言编写，而且对ML（机器学习）和DM（数据挖掘）也都有api的支持，而作为第三...

学大数据,不管怎么样始终都绕不开Hadoop这个黄色的小象 而安装Hadoop可以说是进入大数据领域的第一步了,作为学校里大数据专业还在坚持学大数据的同学,经过这几年的学习...

先了解两个概念 首先要先知道时间语义和watermark 是什么 时间语义 在flink的数据处理流程中，有三个重要的时间概念，如上图所示分别是 Event Time：事件...

最近好几天没更新了，并没有偷懒玩哈，短学期前立的flag依旧记在心中。没更新的这几天我可是在每天加班加点的学习呢，为了今天这篇博客我这几天没少掉头发啊，呜呜呜呜！！！...

这几天老师布置了一个小的爬虫任务 对于我这种完全不会爬虫的人来说，我以为会有些难度，但应该也不会太费时间。 哪知道小小的patient like me竟然让我两天没打游戏了...

事情是这样的，最近组里新建了一个代码仓库来开发一个新的产品，再加上今天北京下大雨很多同事选择在家工作（包括我也是），于是我就选择用自己的个人电脑来工作。 但我的个人电脑里面...

概述 Flink中没有类似mapreduce、spark中的foreach方法让用户进行迭代的操作，所以所有对外的输出操作都要利用sink来完成 通过这样的形式来完成任务的...

transform 作用：将Soure数据（源数据）进行转换计算为需要的数据 常用函数 map map算子和python中的map类似，python中是把数据转换为l...

今天学习flinksource的时候无意间发现了一个很离谱的错 ERROR: A JNI ERROR HAS OCCURRED, PLEASE CHECK YOUR INS...

欢迎关注我的个人博客学习更多知识 flink流处理基础框架 类比于storm 和 spark flink也是有执行环境 下面写出最小框架 返回本地执行环境，需要在调用时指定...

执行图和任务链 程序与数据流（DataFlow） 所有的flink执行程序大体可以分为三部分： Source 负责读取数据源 Transformation 利用各种算子进行...

学习一个组件之前，最总要的就是要了解这个组件的运行框架 我们来看看flink计算引擎的运行框架 Flink 运行时的组件 Flink 运行时架构主要包括四个不同的组件，它们...