大数据-storm和Spark开发使用笔记

0 阅读1分钟

 ​编辑

笔记内容来自于 www.mdrsec.com 文章内容欢迎到这个系统上浏览和学习,有问题欢迎留言咨询。

Storm运维与开发教程

  • Storm 特点·概述介绍
  • Storm 和流处理简介
  • Storm 核心概念详解
  • Storm 单机环境搭建
  • Storm 集群环境搭建
  • Storm 编程模型详解
  • Storm 项目三种打包方式对比分析
  • Storm 集成 Redis 详解
  • Storm 集成 HDFS/HBase
  • Storm 集成 Kafka ​

 ​编辑

笔记内容来自于 www.mdrsec.com 文章内容欢迎到这个系统上浏览和学习,有问题欢迎留言咨询。

Spark运维与开发教程

  • Spark 概述·特点介绍
  • Spark 集群架构和核心组件介绍
  • Spark 开发环境搭建
  • Spark 基于mesos的集群搭建

Spark Core

  • Spark Core
  • Spark原理和编程模型
  • Spark 弹性式数据集RDD
  • Spark RDD Transformation和Action常用算子详解
  • Spark 运行模式与作业提交
  • Spark 累加器与广播变量
  • Spark 基于Zookeeper搭建Spark高可用集群

Spark SQL

  • Spark SQL
  • Spark SQL DateFrame和DataSet
  • Structured API的基本使用
  • Spark SQL外部数据源
  • Spark SQL常用聚合函数
  • Spark SQL JOIN操作

Spark Streaming

  • Spark Streaming
  • Spark Streaming与流处理
  • Spark Streaming基本操作
  • Spark Streaming整合Flume
  • Spark Streaming整合Kafka
  • 使用Apache Spark实现ETL 300%的速度提升

 ​编辑

笔记内容来自于 www.mdrsec.com 文章内容欢迎到这个系统上浏览和学习,有问题欢迎留言咨询。