首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
empcl
掘友等级
Flink平台开发
|
京东
清风徐来
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
45
文章 44
沸点 1
赞
45
返回
|
搜索文章
最新
热门
Avro学习入门以及在Flink中的使用
Avro是Hadoop的一个数据序列化系统,具有丰富的数据结构,支持二进制序列化方式,用于支持大批量数据交换。Avro使用Json格式来定义schema。schema可以由简单类型(null、boolean、int、long、float、double、bytes、string)…
Idea中Maven根据环境判断出Scope是provided
上述配置语句,配置在maven项目中的pom.xml文件中。 在本地运行(Idea)时,scope为compile;在线上运行时,scope为provided。
ES学习之路 -- 常见命令使用
根据上述的命令,在test_index这个index中,会创建3个primary shard,3个replica shard。 跟全文检索相反,全文检索会将输入的搜索串拆解开来,去倒排索引里面一一匹配,只要能匹配上一个拆解后的单词,就可以作为结果返回。phrase search…
Flink-Storm工具的源码分析
Flink、Storm 都是优秀的大数据实时计算引擎,具有低延迟、容错、高可用等特点。Storm 依赖 zookeeper 存储状态信息,存在着性能瓶颈问题;Storm 的ack消息保障机制也会导致吞吐量并不是很理想。Flink 是2018年开源大数据生态中发展“最快”的引擎,…
java 线上运行任务时,读取当前jar包所在的目录信息
Java程序在本地运行时,可以通过System.getProperty("user.dir")获取当前工程所在的目录信息。但是,当将该工程放置在线上环境运行时,将返回其他的路径。以Flink程序为例,该语句将会返回${FLINK_HOME}/bin。很显然,这并不是我们想要的。…
Java SPI机制在Flink SQL中的应用
Java SPI机制,即Java Service Provider Interface,是Java提供的基于“接口编程 + 策略模式 + 配置文件”组合实现的动态加载机制。调用者可以根据实际使用需要,来启用、扩展或者替换框架的现有实现策略。在Java中,基于该SPI思想,提供了…
近来工作时的一些感悟与反思
夜深了,适合思考。 自三四月份其至今,做了两三个任务。在这期间,有收获也有不足,有进步也有值得思考的地方: 安排完成一项任务A以增强某一功能,总共有多种数据格式a1,a2,a3。因为本人是进行平台开发工作,需要在源码的基础上添加一个新的变量,在完成a1,a2两种数据格式的线下线…
个人成就
文章被点赞
35
文章被阅读
20,064
掘力值
439
关注了
53
关注者
12
收藏集
7
关注标签
49
加入于
2018-01-26