大数据架构

本文详细介绍了HDFS的技术架构组成、核心服务及高可用设计原理。以及HDFS针对脑裂的处理方式、HDFS联邦机制等。

StreamX, 采用 java/scala 开发, 项目的初衷是 —— 让 Flink 开发更简单,使用StreamX开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务。

本文是关于大数据监控告警建设的道而非术，我们会介绍从哪些方面去建设监控告警，而如何建设采用哪些技术方案你完全可以结合当前生产实际情况或者现有标准规范去实施。

生产环境sqoop任务执行极慢，即使只导出1条数据也要10分钟左右，导致数据产出延时。我们做了什么操作将sqoop执行时间提升10倍。

本文详细介绍了我们在AWS 上对EMR大数据集群进行高可用升级的完整方案和注意事项，对于生产EMR集群升级有参考价值。

本文主要介绍了我们生产环境Flink版本升级过程中踩坑的总结，希望能帮助你避坑。 总共有6部分，分别是： 1、背景介绍 2、升级计划 3、踩坑总结 4、注意事项 5、升级收益 6、参考文档