[转载] 一位大数据老兵的“回忆杀”：我做大数据这10年（附赠100G+大数据精华资料分享给大家）
大家好，我是应癫，回顾起来，和大数据结缘已经有10个春秋了 2007年 ~ 2009年，我在北京读研究生，计算机专业，我的课题方向是“移动GIS系统”。GIS呢，就是地理信息系统，地图相关的一个领域，做地图的信息化建设 研二研三，我全职在某研究所工作，同时搞课题研究 期间，我主要是用Java语言 当时用 Java 语言写了很多代码，实现了很多功能 当时的自己可以说是一个狂热的 Java 爱好者 另外 像MySQL、Oracle、Weblogic、TongWeb、EJB 等等的传统的技术，当时也是各种用，而且当时也用的很深
2008年，在周末一个开放式技术论坛上，我第一次了解到大数据 当时听着很神奇，热血沸腾的： 很多台服务器一起工作，提供强大的数据存储和计算能力，不满足需要的话，还能继续增加机器...... 这一切都是自己之前没有见识过的 回去之后，我各种搜资料，包括去图书馆借书籍，但大数据相关的资料和书籍都非常少 我也摸清了一个现状：2008年，大数据在国内还都是概念，企业里没啥落地动作
2009年 我听说 腾讯等超一线企业才开始应用大数据技术 主要就是基于Hadoop体系，构建各自的第一代大数据平台 说明一下，这个Hadoop（哈杜普）是大数据领域第一个真正意义上的框架，基于它我们可以进行海量数据存储 + 海量数据计算。 也是在2009年，我参加工作，入职某大型集团，岗位：Java研发工程师，因为当时的我擅长的是 Java领域 毕业的时候，在应届毕业生群体中也是有一些优势，有着不错的实际项目经验 因为有研究生阶段不错的经历
2010年，项目巧合 我主导在工作应用大数据技术栈，其实就是Hadoop 不否认当时自己有尝鲜新技术的私心，我们之前一直用传统的关系数据库Oracle那些，上学期间就一直在用了，说真的内心里很有技术疲惫感 Hadoop使用过程中，我走了很多弯路，克服了很多困难 这段历程，我在课程中有分享给大家，大家听课时能了解到 也是从那个时候开始，我才真正走上大数据这条路
2011年的时候 那个年代，如果一个人会搭建Hadoop集群，月薪过w没问题 但要放到现在，只会搭建Hadoop集群的话，给2k月薪都嫌多 大数据技术在过去10年得到了飞速发展~ 2011，是大数据分水岭的一年 2011年之前 大家主要用Hadoop进行离线数据处理，所谓离线数据处理，指的是数据已经产生完毕了，比如昨天的数据，我今天对昨天的数据进行统计，延时比较大，无法较实时计算结果 很多公司做报表统计都是这种模式 大家可以回顾下自己公司有没有过，今天统计昨天的，周一统计上周的，每月1日统计上个月的，每年1月1日统计上一年的
2011年之后 人们就开始有规模的进行实时计算处理 2011那年，Twitter公司开源了一个叫Storm的框架，Storm的出现解决了实时海量大数据处理的问题，在当时，可以说，相当震撼，相当有地位 我在2012年的时候开始在工作中高频次使用Storm，最早我记得是用在了当时的税务业务处理上。 当然 后来阿里巴巴看Storm不爽，重构了一个JStorm框架 这个故事，我们在后续《大数据实时计算框架（系统）的发展》一文中会系统描述
2013年，是我们中国的大数据元年 那个时候给我的感觉就是，周围越来越多的人开始关注大数据了 新闻，IT资讯关于大数据的内容也越来越多了，大数据培训也开始了 那个时候大学里是没有大数据专业的，储备大数据能力的两个途径，一个就是企业内部转型，像老师就属于这种途径，另一个就是参加一些培训。 如今企业中的大数据从业人员基本都是这两个方向过来的。
再后来2018 年是大数据爆发的一年 怎么个爆发法呢？ 我有很深的印象 政策支持力度空前的大，新闻资讯上也经常看到资本注入大数据领域 大数据的岗位招聘也非常的多，薪酬开的也是非常之高 大数据人员跳槽是非常容易的一件事情，因为人才缺口真的很大
到现在 大数据领域也涌现出了更多优秀技术栈，比如Spark、Flink、Druid、Kylin等等，都是非常优秀的大数据框架 大数据的产业布局也已经铺开，蔓延到各行各业，市场规模 最直接的，大数据在疫情防控战中发挥了不可替代的作用 回想过去这10年 2013年之前 自己并没有享受到大数据带来的红利 因为那个时候，大家对大数据的认识都不怎么到位，更别说把一个人当大数据人才对待了 2013年之后，大数据迅速发展受重视，才开始享受大数据带来的红利
欢迎对大数据感兴趣的朋友们秋秋群交流：333755819 群内提供免费的精心积累的100G+大数据精华资料。合理利用自己每一分每一秒的时间来学习提升自己，不要再用"没有时间“来掩饰自己思想上的懒惰！趁年轻，使劲拼，给未来的自己一个交代！
但有一点，10年来，自己的大数据视野是一直不停地在扩大 -- 经历了曾经3台节点规模的集群，也经历了后来上千节点规模的集群 -- 经历了曾经几个T规模的数据量，也经历了后来PB、甚至EB级别的数据量 -- 经历了曾经一次计算任务执行一周的场景，也经历了现在快如闪电的实时计算 自己呢，也是一次次地被这个数据世界震撼着... 同学们，下一个10年 让我们一起走过，去见证
