本文主要描述了 Apache Spark 2.0 中推出的新功能 Structured Streaming(结构化流处理) 从 Kafka 中读取消息，实时处理后再写入不同的下游系统的使用示例

背景 sqoop是一个用来将Hadoop和关系型数据库（RDBMS）中的数据进行相互转移的工具。在使用sqoop时，我们需要提供数据库的访问密码。目前sqoop共支持4种输入密码的方式： 明文模式。 交互模式。 文件模式。 别名模式。 笔者使用的是CDH5.10里的sqoop，…

本文根据链家（现：贝壳）赵国贤老师在DataFun Talk数据架构系列活动“海量数据下数据引擎的选择及应用”中所分享的《大数据平台架构从0到1之后》编辑整理而成，在未改变原意的基础上稍做修改。 大数据平台构建方法大同小异，但是平台构建以后也面临很多挑战，在面临这些挑战我们如何…

随着业务的不断增长，用户体验的不断提升，每个部门对数据处理的响应时间要求越来越短，对各个部门报表的响应速度要求越来越快，对跨部门的数据交互和查询也越来越紧密，所以需要一个统一的快速查询引擎...