大数据干饭人

前言 Python 是一种代表简单思想的语言，其语法相对简单，很容易上手。不过，如果就此小视 Python 语法的精妙和深邃，那就大错特错了。 如能在实战中融会贯通、灵活使用，必将使代码更为精炼、高效

简介 SparkStreaming消费Kafka实现精确一次性消费. 保证消息不丢失、不重复消费. 消息处理的语义 At Least Once (至少处理一次): 消息至少被处理一次 可以保证 数据不

1. Flink环境准备 单机模式使用FLink非常简单，只需要下载Flink压缩包，然后执行./bin/start-cluster.sh启动服务。在本地http://localhost:8081/就可以打开WebUI的界面。 2. 测试数据库准备 作为ETL任务，我们需要指定…

我们在进行Spark任务提交时，会使用“spark-submit -class .....”样式的命令来提交任务，该命令为Spark目录下的shell脚本。它的作用是查询spark-home，调用spark-class命令。 检测执行模式（class or submit）构建c…

hi，大家好，小姐姐味道最有用系列完结。 敢用自己的名字做软件名字的，都有非常强大的自信。比如，垠语言什么的。 awk的命名得自于它的三个创始人姓别的首字母，都是80来岁的老爷爷了。当然也有四个人的组合：流行的GoF设计模式。但对于我这游戏爱好者来说，想到的竟然是三位一体，果然…

第一次写优化相关的文章，先简单谈谈关于优化看法。首先一点是很多优化设计不管是缓存、索引还是排序等等，其核心的思想就是减少IO。然后在分布式场景下效率还遵循木桶效应，任务是并行执行的，最后执行完的任务决定了整个任务的耗时。所以均衡各个任务节点的任务是在分布式场景下的重要优化思路。…

1. 场景描述 2. 解决方案 数据传输服务(Data Transmission Service) DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下…

这篇短文将结合实例对隐式转换的各种场景进行解释和总结，希望看完的人能够安全驶过隐式转换这个大坑。隐式转换函数隐式转换函数有两种作用场景。1转换为期望类型：就是指一旦编译器看到X，但需要Y，就会检查从X