大数据干饭人

前言 Python 是一种代表简单思想的语言，其语法相对简单，很容易上手。不过，如果就此小视 Python 语法的精妙和深邃，那就大错特错了。 如能在实战中融会贯通、灵活使...

简介 SparkStreaming消费Kafka实现精确一次性消费. 保证消息不丢失、不重复消费. 消息处理的语义 At Least Once (至少处理一次): 消息至少...

1. Flink环境准备 单机模式使用FLink非常简单，只需要下载Flink压缩包，然后执行./bin/start-cluster.sh启动服务。在本地http://lo...

我们在进行Spark任务提交时，会使用“spark-submit -class .....”样式的命令来提交任务，该命令为Spark目录下的shell脚本。它的作用是查询s...

hi，大家好，小姐姐味道最有用系列完结。 敢用自己的名字做软件名字的，都有非常强大的自信。比如，垠语言什么的。 awk的命名得自于它的三个创始人姓别的首字母，都是80来岁的...

第一次写优化相关的文章，先简单谈谈关于优化看法。首先一点是很多优化设计不管是缓存、索引还是排序等等，其核心的思想就是减少IO。然后在分布式场景下效率还遵循木桶效应，任务是并...

1. 场景描述 2. 解决方案 数据传输服务(Data Transmission Service) DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传...