上帝视角一览大数据开发体系

2,146 阅读8分钟

前言

不知道大家有没有过在百度搜索旅游的关键字,不久就可能收到机票的推销的经验。如今是大数据的时代,数据的价值越来越重要。数据即资产,想必大家都听说过。最近公司的项目中也用到了一些大数据的技术,本文对大数据相关的知识体系做了一个整体的梳理。

什么是大数据

大数据,你可能就简单理解为数据量大,那是多大才算大数据呢?如果只有数据量大是不是太片面单一了,实际上如果你说是从事大数据开发, 那么起码要满足下面的5大特征。

5大特征

1.数据量大

  • 需要采集的数据量大
  • 需要存储的数据量大
  • 需要计算de 数据量大
  • 数据总体规模起码要TB、PB级别起步

2.数据种类、来源多样化

  • 数据的种类多样,可能是类似MySQL一样的结构化数据,也可能是文本的非结构化数据,或者介于二者之间的半结构化数据
  • 数据的格式来源也多样,可以是业务数据、日志文本文件,甚至是图片、视频等。

3.低价值密度

  • 信息海量但是有价值的少,也就是价值密度低
  • 深度复杂的挖掘分析需要机器学习参与

4.速度快

  • 数据增长速度快
  • 获取数据速度快
  • 数据处理速度块

5.数据的质量

  • 数据的准确性要求高
  • 数据的可信赖度

数据分析方向

针对海量数据的分析,针对不同的业务场景,大致可以分为3个方向,离线分析,实时分析和预测分析。

离线分析

离线分析,也就是所谓的批处理,主要分析过去的历史数据,可以每周(T+7)或者每天(T+1)的方式分析历史的数据,找出隐藏在数据背后的深层次原因,从而做出调整优化。比如说分析过去一个月的用户操作数据等。

这种分析方式一般数据量非常大,通常采用Hadoop生态技术体系解决,比如HDFSYarnHbase等技术。

实时分析

实时分析,也叫流计算,主要是面向当下,实时处理分析数据,你可以想象成流水一样,源源不断的处理数据,对时效性要求比较高,可到秒级甚至毫秒级。比如说在金融领域中,你发起一笔交易,可以通过实时分析判断当前笔交易是否存在欺诈风险,从而保护资金安全。

目前StormFlinkSparkStreaming 都是比较流行的流式处理框架。

预测分析

预测分析,实际就是通过机器学习的手段,基于历史数据和当下产生的实时数据预测未来发生的事情。更侧重于数学算法的运用,如分类、聚类、关联、预测,但是也离开不了数据,需要通过历史的数据进行训练,得出可预测的模型,比较典型的应用比如说电商领域"猜你喜欢"。

数据分析步骤

我们都知道数据的重要性,那数据分析的整个生命周期是怎么样的呢?什么时候来,要做什么处理,都有什么步骤呢?

  1. 明确分析目的和思路
  • 要弄清楚你的业务场景,找到分析的目的,目的是整个分析流程的起点,需要为数据的收集、处理及分析提供清晰的指引方向。
  • 厘清分析的思路,比如先分析什么,后分析什么,使各分析点之间具有逻辑联系,保证分析维度的完整性,分析结果的有效性以及正确性,需要数据分析方法论进行支撑;
  1. 数据收集
  • 数据从无到有的过程:比如传感器收集气象数据、埋点收集用户行为数据
  • 数据传输搬运的过程:比如采集数据库数据到数据分析平台

  1. 数据预处理
  • 数据预处理需要对收集到的数据进行加工整理,形成适合数据分析的样式,主要包括数据清洗数据转化数据提取数据计算
  • 数据预处理可以保证数据的一致性和有效性,让数据变成干净规整的结构化数据。
  1. 数据分析
  • 用适当的分析方法及分析工具,对处理过的数据进行分析,提取有价值的信息,形成有效结论的过程;
  • 需要掌握各种数据分析方法,还要熟悉数据分析软件的操作;
  1. 数据展现
  • 通过图表、报表等方式形象直观的展示出数据分析的结果,这也叫做数据可视化。
  1. 报告撰写
  • 数据分析报告是对整个数据分析过程的一个总结与呈现
  • 把数据分析的起因、过程、结果及建议完整地呈现出来,供决策者参考

大数据主流技术栈

前面讲解了大数据分析的整个过程,需要涉及到很多步骤,每个步骤都需要一些工具和方法支持,作为开发人员,我们可能更加关注用到的一些主流技术栈,目前最主流的还是基于Hadoop生态。

  1. 数据采集和传输层
  • Flume

Flume一个分布式、可靠的、高可用的用于数据采集、聚合和传输的系统,常用于日志采集系统中。

  • Logstash

ELK中的一员,也常用于数据采集。

  • Sqoop

Sqoop主要通过一组命令进行数据导入导出的工具,主要用于Hadoop(如HDFS、Hive、HBase)和RDBMS(如mysql、oracle)之间的数据导入导出。

  • Kafka/RocketMQ

高性能的的消息队列,主要应用在数据缓冲、异步通信、汇集数据、系统解耦等方面。

  1. 数据存储层
  • HDFS

分布式文件存储系统,HDFS非常适合大规模数据集上的应用,提供高吞吐量的数据访问,可部署在廉价的机器上。

  • HBase

是一款基于HDFS的数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。

HBase可以认为是HDFS的一个包装。他的本质是数据存储,是个NoSql数据库;HBase部署于HDFS之上,并且克服了HDFS不能随机读写的问题。

  • Kudu

介于HDFS和HBase之间的基于列式存储的分布式数据库。兼具了HBase的实时性、HDFS的高吞吐,以及传统数据库的sql支持。

  1. 数据计算与分析层
  • MapReduce

分布式运算程序的编程框架,适用于离线数据处理场景。

  • Yarn

Yarn是一个资源调度平台,负责为运算程序分配资源和调度,不参与用户程序内部工作。

  • Hive

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供HQL语句(类SQL语言)查询功能,存储依赖于HDFS。本质上是把好写的hive的sql转换为复杂难写的map-reduce程序。

  • Spark

Spark是一个快速、通用、可扩展、可容错的、内存迭代式计算的大数据分析引擎。目前生态体系主要包括用于批数据处理的SparkRDDSparkSQL,用于流数据处理的SparkStreaming,用于机器学习的Spark MLLib,用于图计算的Graphx以及用于统计分析的SparkR

  • Flink

Flink是一个分布式的实时计算引擎,可以对有限数据流和无限数据流进行有状态的计算。

  • Storm

Storm是一个没有批处理能力的数据流处理计算引擎,是由Twitter开源后归于Apache管理的分布式实时计算系统。

  • Phoenix

构建在HBase之上的一个SQL层,能让我们通过标准的JDBC API操作HBase中的数据。

小结:

大数据生态组件众多,上面只是列出了其中一部分,目前一般会通过CDH等平台统一进行安装管理,如下图所示:

总结

本文讲解了从上帝视角看大数据分析,了解了数据分析的方向和步骤,同时整理了目前市面上常见的一些大数据组件,希望对大家入门大数据学习有一个初步的认识。

如果本文对你有帮助的话,请留下一个赞吧

本文正在参加「金石计划 . 瓜分6万现金大奖」