你的大数据学习路线

                   

本文作 者胡夕

北航计算机硕士毕业，目前就职于一家互联网金融公司，开源技术爱好者。曾任职于IBM、搜狗、微博等公司。对Kafka及其他开源流处理技术与框架有深刻认识，同时也是国内资深的Kafka代码贡献者。对Kafka原理、运行机制以及应用开发都有较深的研究。

• 引言

本文的目的是希望给所有大数据初学者规划一条比较清晰的学习路线，帮助他们开启大数据学习之旅。鉴于大数据领域内的技术绚丽繁复，每位大数据初学者都应该根据自己的实际情况制定专属的学习路径。

大数据，即Big Data，关于它的定义很多，最权威的莫属IBM的定义，读者可以自行查阅，笔者在这里不再赘述。既然本文关注的是如何学习大数据，那么我们首先就要定义大数据领域内的不同角色，这样各位读者才能根据自身实际情况找准自己的定位，从而开启学习过程。

• 角色

以笔者的愚见，当下大数据行业有如下两类角色。

1. 大数据工程

2. 大数据分析

这两类角色相互依存但又独立运作，何意？没有大数据工程，大数据分析便无从谈起；但若没有大数据分析，大数据工程也没有存在的理由。这就类似于结婚和谈恋爱——谈恋爱的目的是为了结婚，且不以结婚为目的的谈恋爱都是耍流氓。 

具体来说，大数据工程需要解决数据的定义、收集、计算与保存的工作，因此大数据工程师们在设计和部署这样的系统时首要考虑的是数据高可用的问题，即大数据工程系统需要实时地为下游业务系统或分析系统提供数据服务；而大数据分析角色定位于如何利用数据——即从大数据工程系统中接收到数据之后，如何为企业或组织提供有产出的数据分析，并且确实能够帮助公司进行业务改善或提升服务水平，所以对于大数据分析师来说，他们首要解决的问题是发现并利用数据的价值，具体可能包括：趋势分析、模型建立以及预测分析等。

简单总结一下，大数据工程角色需要考虑数据的收集、计算(或是处理)和保存；大数据分析角色则是执行数据的高级计算。

• 我们属于哪种角色

既然我们了解了大数据领域内的角色分类，下面自然就需要“对号入座”确定自己的定位，这样才能有的放矢地开始学习大数据。在考虑这个问题时，我们需要参考如下两方面的因素。

1. 专业知识背景

2. 行业经验

这里的专业知识背景不是指学历、院校这种背景，而是你对某些IT技术的了解程度。即使你不是计算机专业出身，只要你对C语言有一腔热血，哪怕是C之父Dennis Ritchie也不敢小瞧你。因此，这里的专业知识其实就只有如下两个。

1. 计算机专业知识，比如操作系统、编程语言、计算机运行原理等。

2. 数学知识，这里指代的是高等数学，比如微积分、概率统计、线性代数和离散数学等，并不是x×x+y×y= 1画出来是什么图形这样的数学。

而行业经验指的是你在相关领域内的工作经验，具体可以分为如下3档。

1. 菜鸟。

2. 有一定经验的工程师。

3. 资深专家——现在在大数据领域内有一个更酷的名字，即数据科学家，比如前百度首席数据科学家吴恩达博士。

好了，现在我们就可以根据上面的分类来定义自己的角色。比如拿笔者来说，对自己的定位是：“我是一名计算机专业毕业的工程师，有一定的数学基础(特别是在微积分和线性代数方面)，但数理统计和概率论部分不是我的强项。”另外最好别打肿脸充胖子，如果之前没什么经验，承认自己是菜鸟也没事，关键是找准自己的定位。

确定自己的定位后，我们需要对应到特定的大数据角色，以下是一些基本法则。

1. 如果您具有良好的编程基础且深入了解计算机的交互方式以及互联网底层技术原理，但数学和统计学掌握得不深，那么大数据工程可能是您今后学习的方向。

2. 如果您有一定的编程基础(掌握一些高级语言，如Python等)，同时又有很强的数学功底，那么大数据分析可能是您努力的方向。

• 学习路线

不管您属于以上哪种角色，有一些大数据理论知识是您必须要掌握的，它们包括但不限于以下这些。

• 数据分片与路由：挑一个典型的分区算法去学习，比如一致性哈希算法（https://en.wikipedia.org/wiki/Consistent_hashing）。

• 备份机制与一致性。

√ 学习国内被奉为“圣经”但在国外也就一般的CAP理论（https://en.wikipedia.org/wiki/CAP_theorem）。

√ 幂等性（Idempotent），很多分布式系统状态管理的基石（https://mortoray.com/2014/09/05/what-is-an-idempotent-function/）。

√ 各种一致性模型：强一致性、弱一致性、最终一致性。

√ 备份机制：主从的叫法已经不怎么流行了，当前更酷的叫法是Leader-Follower模式。

√ 共识协议：国内通常翻译成一致性协议（consensus protocol）。学习常见的Paxos和Raft协议。

• 算法和数据结构。

√ LSM：学习其与B+树的区别以及优势是什么。

√ 压缩算法：了解一个主流的压缩算法，比如Snappy、LZ4。另外Facebook最近开源了新一代的压缩算法Zstandard，据说可以完爆一切主流压缩算法。

√ Bloom Filter过滤器：大数据下O(1)的过滤器。

无论是学习大数据工程还是大数据分析，这些理论知识都是必要的，因为它们是设计很多分布式系统必备的技能。下面我们就针对不同的角色设计不同的学习路线。

 

• 大数据工程师

对于大数据工程师而言，您至少要掌握以下技能。

• 一门JVM系语言：当前大数据生态JVM系语言类的比重极大，在某种程度上说是垄断也不为过。这里笔者推荐大家学习Java或Scala，至于Clojure这样的语言上手不易，其实并不推荐大家使用。另外，如今是“母以子贵”的年代，某个大数据框架会带火它的编程语言，比如Docker之于Go、Kafka之于Scala。因此笔者这里建议您至少要精通一门JVM系的语言。值得一提的，一定要弄懂这门语言的多线程模型和内存模型，很多大数据框架的处理模式其实在语言层面与多线程处理模式是类似的，只是大数据框架把它们引申到了多机分布式这个层面。

笔者建议 ：学习Java或Scala。

• 计算处理框架：严格来说，分为离线批处理和流式处理。流式处理是未来的趋势，建议大家一定要学习；而离线批处理其实已经快过时了，它的分批处理思想无法处理无穷数据集，因此适用范围日益缩小。事实上，Google已经在公司内部正式废弃了以MapReduce为代表的离线处理。因此如果要学习大数据工程，掌握一门实时流式处理框架是必需。当下主流的框架包括Apache Samza、Apache Storm、Apache Spark Streaming以及最近一年风头正劲的Apache Flink。当然Apache Kafka也推出了它自己的流式处理框架Kafka Streams。

笔者建议 ：学习Flink、Spark Streaming或Kafka Streams中的一种。另外，请熟读Google大神的这篇文章《The world beyond batch: Streaming 101》，地址是https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101。

• 分布式存储框架：虽说MapReduce有些过时了，但Hadoop的另一个基石HDFS依然坚挺，并且是开源社区最受欢迎的分布式存储框架，绝对值得您花时间去学习。如果想深入研究的话，Google的GFS论文也是一定要读的（https:// static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf）。当然开源世界中还有很多的分布式存储框架，国内阿里巴巴的OceanBase是其中很优秀的一款。

笔者建议 ：学习HDFS。

• 资源调度框架：Docker可是整整火了最近一两年。各个公司都在发力基于Docker的容器解决方案，最有名的开源容器调度框架就是Kubernetes了，但同样著名的还有Hadoop的YARN和Apache Mesos。后两者不仅可以调度容器集群，还可以调度非容器集群，非常值得我们学习。

笔者建议 ：学习YARN。

• 分布式协调框架：有一些通用的功能在所有主流大数据分布式框架中都需要实现，比如服务发现、领导者选举、分布式锁、KV存储等。这些功能促进了分布式协调框架的发展。最古老也是最有名的当属Apache Zookeeper了，新一些的包括Consul、Etcd等。学习大数据工程，分布式协调框架是不能不了解的，从某种程度上说还应该深入了解。

笔者建议 ：学习ZooKeeper——太多大数据框架都需要它，比如Kafka、Storm、HBase等。

• KV数据库：典型的就是Memcache和Redis了，特别是Redis简直发展神速。Redis简单的API设计和高性能的TPS日益得到广大用户的青睐。即使不学习大数据，学学Redis都是大有裨益的。

笔者建议 ：学习Redis，如果C语言功底好，最好熟读源码，其源码也不是很多。

• 列式存储数据库：笔者曾经花了很长的时间学习Oracle，但不得不承认当下关系型数据库已经慢慢地淡出了人们的视野，有太多的方案可以替代RDBMS了。人们针对行式存储不适用于大数据Ad-Hoc查询这种弊端开发出列式存储，典型的列式存储数据库就是开源社区的HBase。实际上列式存储的概念也是出自Google的一篇论文《Google BigTable》，大家有兴趣的话最好读一下（https://static.googleusercontent.com/media/research.google.com/en//archive/bigtable-osdi06.pdf）。

笔者建议：学习HBase，这是目前应用最广泛的开源列式存储。

• 消息队列：大数据工程处理中消息队列作为“削峰填谷”的主力系统是必不可少的，当前该领域内的解决方案有很多，包括ActiveMQ、Kafka等。国内阿里也开源了RocketMQ。这其中的翘楚当属Apache Kafka了。Kafka的很多设计思想都特别契合分布流式数据处理的设计理念。这也难怪，Kafka的原作者Jay Kreps可是当今实时流式处理方面的顶级大神。

笔者建议 ：学习Kafka，不仅好找工作(几乎所有大数据招聘简历都要求会Kafka:-）)，还能触类旁通地进一步理解基于备份日志方式的数据处理范型。

• 大数据分析师或数据科学家

要想成为一名数据科学家，您至少要掌握以下技能。

• 数学功底：微积分是必须要掌握的。不一定要掌握多元微积分，但一元微积分是必须要熟练掌握并使用的。另外线性代数一定要精通，特别是矩阵的运算、向量空间、秩等概念。当前机器学习框架中很多计算都需要用到矩阵的乘法、转置或是求逆。虽然很多框架都直接提供了这样的工具，但我们至少要了解内部的原型原理，比如如何高效判断一个矩阵是否存在逆矩阵并如何计算等。

笔者建议：重温同济版《高等数学》，有条件的可以去Coursea学习宾夕法尼亚大学的微积分课程。推荐学习Strang的线性代数《Introduction to Linear Algebra》——这是最经典的教材，没有之一！

• 数理统计：概率论和各种统计学方法要做到基本掌握，比如贝叶斯概率如何计算？概率分布是怎么回事？虽不要求精通，但对相关背景和术语一定要了解。

笔者建议：找一本《概率论》重新学习下。

• 交互式数据分析框架：这里并不是指SQL或数据库查询，而是像Apache Hive或Apache Kylin这样的分析交互框架。开源社区中有很多类似的框架，可以使用传统的数据分析方式对大数据进行数据分析或数据挖掘。笔者有过使用经验的是Hive和Kylin。不过Hive特别是Hive1是基于MapReduce的，性能并非特别出色，而Kylin采用数据立方体的概念结合星形模型，可以做到极低延时的分析速度，况且Kylin是第一个研发团队主力是中国人的Apache孵化项目，因此日益受到广泛的关注。

笔者建议 ：首先学习Hive，有时间的话了解一下Kylin以及背后的数据挖掘思想。

• 机器学习框架：机器学习当前真是火爆宇宙了，人人都提机器学习和AI，但笔者一直认为机器学习恰似几年前的云计算，目前虽然火爆，但没有实际的落地项目，可能还需要几年的时间才能逐渐成熟。不过现在就开始储备机器学习的知识总是没有坏处的。说到机器学习的框架，大家耳熟能详的有很多种,信手拈来的就有TensorFlow、Caffe8、Keras9、CNTK10、Torch711等，其中又以TensorFlow领衔。

笔者建议 ：可以选取一个机器学习框架进行学习，但这些框架大多封装了各种机器学习算法提供给用户使用，因此还是从机器学习算法的原理来学习比较好，比如：Udacity的课程是非常入门级的机器学习课程（https:// classroom.udacity.com/courses/ud120）；目前机器学习领域最牛的入门课程，即吴恩达博士的Machine Learning；学习Python的scikit-learn库（http://scikit-learn.org/stable/）；找一本书籍来看，国内有周志华的《机器学习》，还可以期待吴恩达的新书《Machine Learning Yearning》；最后如果觉得掌握得差不多了，可以尝试挑战Kaggle（https://www.kaggle. com/）。

• 总结

以上就是我对大数据学习路线的一些思考和建议，希望对读者朋友们有所帮助。

————

本篇文章来自公众号“大数据Kafka技术分析”（公众号ID： gh_3af7b8516eec 公众号名称：大数据Kafka技术分享）。请大家关注作者即将出版的原创新书《 Apache Kafka实战》。这本书基于Apache Kafka 1.0.0版本进行介绍，由Kafka Contributor执笔，从Kafka基本概念与特性开始，详细介绍了Kafka的部署、开发、运营、监控、调试、优化以及重要组件的设计原理，并给出了翔实的案例。既适合作为Kafka的入门书籍，也适合系统架构师和一线开发工程师参考阅读。如对大数据价值尚存疑虑，可点击 阅读原文品读《数据驱动：从方法到实践》，全方位感受数据构建的未来世界里，企业和个人将如何籍此实现决胜性增长。

• 内容简介：本书是涵盖Apache Kafka各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景，对Kafka整个技术体系进行了较为全面的讲解，以便读者能够举一反三，直接应用于实践。同时，本书还对Kafka的设计原理及其流式处理组件进行了较深入的探讨，并给出了翔实的案例。 本书共分为10章：第1章全面介绍消息引擎系统以及 Kafka 的基本概念与特性，快速带领读者走进Kafka的世界；第2章简要回顾了Apache Kafka的发展历史；第3章详细介绍了 Kafka 集群环境的搭建；第4、5章深入探讨了Kafka客户端的使用方法；第6章带领读者一览Kafka内部设计原理；第7~9章以实例的方式讲解了Kafka集群的管理、监控与调优；第10章介绍了Kafka新引入的流式处理组件。 本书适合所有对云计算、大数据处理感兴趣的技术人员阅读，尤其适合对消息引擎、流式处理技术及框架感兴趣的技术人员参考阅读。

长按二维码，关注“前沿技墅 ”，抢先接收新知、了解书讯、结识大咖。

任何伟大，无不起步于不经意间，你可以选择不经意错过，或不经意开始……