spark 入门到企业级实战
author@算法全栈之路
红豆生南国,春来发几枝。
愿君多采撷,此物最相思。
本教程适用于有一定编程基础而又对算法大数据感兴趣的同学。
教程目录
-
大数据基础与Spark 简介 -
Spark 环境搭建 (基于 Scala) -
Spark 原理深入剖析 -
RDD与Spark常用算子工业界用法解析 -
Spark 任务的提交与结果输出 -
Spark SQL -
Spark Streaming 介绍与运用 -
Spark MLlib 介绍与运用 -
Spark 分布式程序运行监控 -
Spark 优化方法 -
Spark 数据倾斜与解决方法 -
Spark 程序高阶用法 -
Spark 日常遇到的问题
说明
随着大数据时代的来临,给我们每个人的生活带来了巨大的改变,"大数据"已经成为互联网行业的流行词汇。
伴随大量的数据(日志,邮件,视频,音频,链接等等)的生产,大数据相关的存储、计算、数据分析、结果展示等环节在传统技术架构下面临着巨大的挑战,大数据技术的发展步伐很快,不断有新的技术涌现,其中现在业界主要用的技术就包括 Hadoop、Spark、Flink 等...
结语
这是我开启公众号后更新的第一个篇文章,计划开启一个系列的学习笔记,感觉有点儿激动,还是有点儿小压力,希望可以坚持下去~~~ 养成记录学习笔记的习惯,以后我可能就要不停的写写写了,哈哈哈!!!欢迎关注我的公众号: 算法全栈之路
