小白手把手学习大数据之Hadoop篇(一)为什么要学习大数据

176 阅读5分钟
  • 小知识,大挑战!本文正在参与“程序员必备小知识”创作活动。
  • 大家好,我是程序胖,一位正在学习大数据的小胖子,为了学习和巩固我所学的内容,我就自己将我自己所学的东西总结分享出来,分享知识的同时也希望能够得到大家的指点,毕竟一个人闭门造车远不如大家讨论成长的快,如果有说的不对地方请大家指正。

正文

  • 一个新技术的诞生一定是为了解决一个比较棘手的问题,而我们学习一个新的技术一般也是带着问题去学习的,所以在学习大数据之前,我就有个疑问,为什么会有大数据这个概念?

    • 首先我认为产生的大数据的主要三大因素是计算,存储和人工智能

    • 先来说说存储,在云计算出现之前,也就是阿里云,腾讯云和华为云这些出现之前,数据的存储的成本是很高的,就比如,一个游戏开新服,就要购买新的服务器集群,并且还需要安排几个人去部署和维护,保证数据存储的安全性和数据传输的畅通性。并且由于容量有限,机房还需要定期清洗数据,将部分的历史数据清洗出去,这样才能更高的存储新数据。所以这样看来数据的存储是十分高的,但是云计算的诞生,使得这个存储的成本下降了,你如果使用过阿里云就知道,现在我们可以线上购买服务器,通过阿里云这些数据存储服务商提供的服务,我们可以解决以上的所有的问题,并且价钱也比以前实惠,这样就使得存储成本降低,使得数据存储量上升以前需要清洗的历史数据就得以存储下来,而这一步就给大数据搭好了底子

    • 说完存储成本下降,再来聊聊计算,既然存储成本下降,如果电脑的运行速度和计算速度不够快,这么多数据也没有用武之地啊,你思考一下,在2000年的时候下载一个文件,是不是很久,以前的电脑运行稍微大点的游戏是不是会很卡,但是随之硬件的提升和软件技术的进步,电脑的性能和运行速度大大提高,计算速度也越来越快,以前需要一天的计算量,现在可能只需要几分钟,所以大数据的产生与计算速度密不可分。

    • 存储成本的下降和计算速度的提升,就会产生一个问题,就是我们可以通过这么多数据可以做什么?我们要那么多的数据干嘛呢?这时候有个东西产生了就是人工智能,为什么会有人工智能?因为人的脑力有限,并不是人人都可以有大的计算力和记忆力,所以我们希望计算来代替人实现一些人难以实现的能力,所以对于这种超能力的渴望,大数据油然而生,所以我们才能看到拥有超强学习能力和计算能力的阿尔法狗才能打败围棋天才,所以你的手机总会推荐一下你想要的东西而这些就是利用大数据构成的。


  • 好了,知道了为什么会产生大数据,这还不够,我们学习一个新东西肯定是为了学完之后能获得什么能力嘛,就像学习武功秘籍肯定是为了能够施展炫酷的拳脚,这个时候又有问题了,学了大数据能做什么?

    • 我去网上看了很多,不外乎是为了更加了解用户的需求,通过大的数据量和计算来预测用户的喜好和下一步行为,也就是说通过一定的数据量,机器人可以比你自己更加了解自己,也就是为什么会有你前一秒刚看相关东西,下一秒就会有东西推荐给你。这是商业用途上的,其他用途也很多,用于便民的也有,这里就不一一举例了。

  • 既然知道为什么产生大数据,大数据又能做什么,那我们如何学习大数据呢?

    • 说实话这个问题很庞大,因为大数据需要学习的东西很多,并且针对不同的场景有不同解决方案和框架,所以我也不好说太多,毕竟我也在学习,所以我就放一个我感觉比较好的学习路线
      • 第一步:学习JAVA语言基础
      • 第二步:学习前端内容
      • 第三步:学习Java web和数据库等后端内容
      • 第四步:Linux编程基础
      • 第五步:Hadoop生态体系
      • 第六步:spark生态圈
      • 第七步:strom实时开发
      • 第八步:项目实战
    • 前面4步的学习主要是为了让你学习生态的时候不至于太痛苦,毕竟基础还是比较重要的,后面才是真正的大数据的内容,后面我就会自己总结一下Hadoop的相关知识点

  • 以上呢,就是我今天想要分享的内容,因为第一次写希望大家多提出一些意见,我是认为带着问题学习起来比较好,这样印象比较深,而且记忆起来也好。

参考文献