spark 入门到企业级实战

966 阅读1分钟

spark 入门到企业级实战

author@算法全栈之路

红豆生南国,春来发几枝。
愿君多采撷,此物最相思。


本教程适用于有一定编程基础而又对算法大数据感兴趣的同学。

教程目录

  1. 大数据基础与Spark 简介
    
  2. Spark 环境搭建 (基于 Scala)
    
  3. Spark 原理深入剖析
    
  4. RDD与Spark常用算子工业界用法解析
    
  5. Spark 任务的提交与结果输出
    
  6. Spark SQL 
    
  7. Spark Streaming 介绍与运用
    
  8. Spark MLlib 介绍与运用
    
  9. Spark 分布式程序运行监控
    
  10. Spark 优化方法
    
  11. Spark 数据倾斜与解决方法
    
  12. Spark 程序高阶用法
    
  13. Spark 日常遇到的问题
    

说明

随着大数据时代的来临,给我们每个人的生活带来了巨大的改变,"大数据"已经成为互联网行业的流行词汇。

伴随大量的数据(日志,邮件,视频,音频,链接等等)的生产,大数据相关的存储、计算、数据分析、结果展示等环节在传统技术架构下面临着巨大的挑战,大数据技术的发展步伐很快,不断有新的技术涌现,其中现在业界主要用的技术就包括 Hadoop、Spark、Flink 等...

结语

这是我开启公众号后更新的第一个篇文章,计划开启一个系列的学习笔记,感觉有点儿激动,还是有点儿小压力,希望可以坚持下去~~~ 养成记录学习笔记的习惯,以后我可能就要不停的写写写了,哈哈哈!!!

欢迎关注我的公众号: 算法全栈之路