技术研究思路以及Spark基础学习笔记

121 阅读3分钟

第一次用markdown,请多见谅。

  • 如何确定的技术路线 我是如何确定要学习Spark的
  • Spark学习笔记 Spark的基础知识

技术选型思路

《养生主》前两句话指出:
吾生也有涯,而知也无涯。以有涯随无涯,殆已!
上面这句话说明了时间有限而知识无限的困局,而当代的信息技术领域令人咂舌的技术更新速度进一步加重了这个问题。
但我并不认同于这句话的后半部分,我们没有可能学习人类全部的领域,也没有这个必要,目前在人工智能正在逐步夺走人类的工作技术是一个不争的事实,但这一波技术更新替代的将不仅是低技术含量的工作机会,而且还包括很大一批的高薪酬的纯粹的知识型工作岗位,这个是跟以往最大的不同。
好了扯远了,我只是想说,当今时代重要的不仅仅是之前的经验和知识积累,更重要的是持续学习的意识和精神,我们还是继续讨论为什么要研究Spark的问题上,持续学习的问题以后在讨论。

起因是家人喜欢看开门大吉,但我绝对这个太没技术含量了,肯定机器做的更好,于是我去网上搜了一下,还真没找到(好吧,后来我找到了几个应用,而且好像很早索尼就有类似的功能),于是我就想自己做一个类似的功能,
目标 开发一个能够自动识别开门大吉门铃声的程序或应用
关联自己 人工智能是目前的IT领域的主流,估计在未来的工作中也会不可避免涉及到,与人工智能是建立在大量数据训练的基础上的,而大数据处理为人工智能提供了一个飞跃的框架,因此大数据处理和人工智能将是这个研究中的两个核心
结合热点 人工智能和大数据处理框架,最热的就是深度学习和Spark了,对于人工智能我还是有一定基础的,毕竟本科和硕士阶段做过相应的研究,但大数据处理框架完全没有经验,我做事喜欢先从最难的入手,所以先从Spark开始研究
研究思路一般是
基础调研->理论简单研究->helloworld->示例程序->理论解惑
这个周期一般要1~2个月
下面按照这个思路开始。

Spark学习笔记

今天偷点懒我把给团队做的Spark介绍
Spark是什么
Spark特点
Spark的基本流程可以从下图了解
这里写图片描述
这里面有一些基本概念,
这里写图片描述
这里写图片描述
这里写图片描述

至于怎么安装和配置Spark,大家自行百度,这里就不再赘述了。(建议参考官方资料:spark.apache.org/

了解了这些基本概念我们可以看看第一个spark helloworld程序了
这里写图片描述

还有基本关于Spark的重量级应用,不能不说
这里写图片描述
这里写图片描述
这里写图片描述

最后
这里写图片描述