大数据平台架构与原型实现

225 阅读5分钟

大家好,我是脚丫先生 (o^^o)

持续研究大数据平台差不多很久了,从最开始的离线平台,调度平台,到实时流平台。

终究是全程的参与大数据平台的研发。

实话说之前自己对大数据平台概念也是一知半解,为了让小伙伴们能快速理解。

于是想给小伙伴们,推荐大数据平台架构与原型实现文档(当然还是希望多支持正版)

一、大数据平台架构与原型实现

这本书的作者是一位架构师。拥有14年IT系统开发和架构经验,在大数据、企业级应用架构,SaaS、分布式存储和领域驱动设计等方面都有不错的实践经验。

当时买这本书的主要原因是我在公司研发大数据平台产品,而自己作为一个大数据萌新,对于“热门新鲜”的技术一直都很敏感,所以当时就很爽快地买来看了。

让我惊喜的是,这本书对于中台的介绍应该是我目前为止看过的所有资料里介绍的最透彻的,光技术中台一个知识点,就从技术体系,组织架构,以及需要具备的能力和建设策略,让之前从没有认真思考过“数据中台”来源的我,开始思索其未来的发展。

但美中不足的地方是,书中大篇幅的实际系统部署内容,对于开发能力薄弱的读者不是很友好。但这也不能埋怨作者,毕竟就像现在数据中台的概念满天飞,最终的落地却是一大难题。如果整本书光吹理论而不将其落到实际的操作上,整本书的价值将大打折扣!

说一些我认为受益比较大的地方。

第4章架构与原型设计,在第一小节,介绍大数据平台架构设计的时候,介绍了一些业界已经较为成熟的架构模式,例如 Lambda架构,Kappa架构 以及 Smack 架构。在此之前,我最多是从别人口中知晓这几种架构,但是自己却从未去主动了解过。

我在几乎0基础的情况下,阅读这些架构的设计理念和应用,还是比较的容易,这可能跟自学能力有关。

另外我比较欣赏的一点就是,作者作为一个高级架构师,对于技术本身的理解非常深入。

尤其在做技术选型的时候,从数仓分层的设计与构建,数据存储系统的选择对比,不同场景下工作流的作业调度,部署提交,项目构建…每一个点都需要有一定的知识储备。这些都能了然于胸,离不开平时大量的实践和积累。

在今天这个时代,我们不见得要自己搭建整个平台,但是了解原理可以让自己工作起来事半功倍,不管是自己搭建,还是利用成熟平台,懂得原理,明白实践,再开始在企业中搭建数据驱动内部经营的完善体系就会胸有成竹、游刃有余!

而且,我认为作为一个大数据平台研发,能够拥有自己的一个小型业务的大数据平台的一件非常骄傲的事情!!!

二、大数据平台架构与原型实现手册

书籍是推荐了,配套的PDF版也要跟上。

文档手册是大数据平台架构与原型实现书籍的配套PDF,总共412页。

虽然文档的清晰度不是很高,但是作为我们去了解,去快速人门大数据平台已经完全够了。

本书从数据中台的战略转型,架构理念,技术平台,实施路径等角度,提供了技术经验和案例经验,具有科学性,系统性,可行性和实操性。

对于处于转型初期以及亟待转型的企业,技术研究人员,行业实施人员,本书都有很强的借鉴价值。

这个文档值得我们每个数据人都去阅读几遍,让其中的经验成为我们自己的经验。

三、获取方式

非常喜欢小伙伴私聊我获取PDF版,一起交流大数据平台研发。

四、总结

数据中台在互联网企业中已经有了多年的实践,但是对于传统的企业来说还是一个比较新的话题。

数据中台是实现企业全面数据化的一个解决方案,是一套支撑企业全面数据化的架构,会成为企业开展全面数据化的基础设施

这本书呢,对于企业建设数据化建设的目标,内容以及定位做了相对完整的论述,详细地阐述了数据中台的定义,内容及如何支撑企业数据化整理建设,同时也介绍了数据中台在企业中的落地步骤,丰富的数据应用场景与实际效果。

好了,今天就聊到这里,之后会继续深入分享。

祝各位终有所成,收获满满!