一个 中年程序员 为什么 要转 大数据

344 阅读2分钟

之前的经历

做大数据之前,我是一直做前端开发的,不论是C/S时代的C++,还是后来移动互联网时代的iOS。

前端是个精彩的世界,会让你感觉自己除了是个工程师还略带艺术家的气息。

转 大数据的考虑

我考虑转大数据,主要是想更加靠近业务(比较公司都是靠着做业务存在的,真正做纯技术的应该是实验室)。做前端的时候当然要了解自己负责的业务,但是会发现很大部分的业务过程隐藏在后端的API之后,特别是业务过程中数据的流转。这个部分往往是业务的核心,但是你又没办法看到。

做大数据,在建立数仓模型的时候,可以比较好的明晰一个业务的业务过程,形成各种事实。然后,基本的统计的手段可以满足业务基本的报表需求。报表在业务里本身应该是有的,只是大数据可以提高生产率(生产率的进步可以推动社会和经济进步,此处参考:www.bilibili.com/video/av133… )。我认为大数据如果只做到这儿是大数据的最初阶用法。

当然还有一部分考虑是未来靠什么在业内说事儿,我自认为不是什么技术的高精尖人才,当然要在业务领域学会一套能够从0到1搭起业务系统能力,目前我选的是大数据领域,大数据可以服务于其他很多其他领域的业务,帮助他们提高生产率。

大数据有那些东西,我目前想搞得目标

  1. 能够从 运营 和 底层数据源 两个角度理清 业务过程。
  2. 能够从 0到1 搭建起大数据数据仓库,有效实施维度模型(Kimball)。
  3. 建立 数据资产 系统(元仓,DQC,血缘,指标管理,维度管理,资产生命周期管理)
  4. 数据平台建设和运维(编辑器,调度器,Job管理,Task管理,数据源管理(DB,流),数据交换(ETL),计算引擎(Hive,Spark,Flink,Python),消息队列(Kafka,RabbitMQ),Binlog收集(Canal),算法平台)
  5. 数据可视化(ES,Kibana)
  6. 数据服务(数据导出到DB后到服务化)
  7. 数据在业务上到应用(实时报表,人群画像,业务可能性预测分析)

数据平台,可视化,数据服务 这些其实可以用阿里云;但是 数仓,数据治理和数据应用是因人而异到。所有目前我的目标应该做好后一部分。

再强调下,数据一定从业务中来,通过整理分析后,返回作用到业务中去,提高生产率,才有价值。