大数据概述:传统数据与大数据的区别

249 阅读2分钟

传统数据处理介绍

数据来源: 1、企业内部管理系统 ,如员工考勤(打卡)记录。 2、客户管理系统(CRM) 数据特征: 1、数据增长速度比较缓慢,种类单一。 2、数据量为GB级别,数据量较小。 数据处理方式: 1、数据保存在数据库中。处理时以处理器为中心,应用程序到数据库中检索数据再进行计算(移动数据到程序端) 遇到的问题: 1、数据量越来越大、数据处理的速度越来越慢。 2、数据种类越来越多,出现很多数据库无法存储的数据,如音频、照片、视频等。

什么是大数据?(Big Data)

是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

是指一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

数据的存储单位 最小的基本单位是bit 1 Byte =8 bit 1 KB = 1,024 Bytes = 8192 bit

KB MB GB TB PB EB ZB YB BB NB DB 进率1024

传统数据与大数据的对比

在这里插入图片描述

大数据的特点

数据集主要特点

Volume(大量)  :  数据量巨大,从TB到PB级别。
Velocity(高速):	数据量在持续增加(两位数的年增长率)。
Variety(多样) : 	数据类型复杂,超过80%的数据是非结构化的。
Value(低密度高价值):  低成本创造高价值。

其他特征 数据来自大量源,需要做相关性分析。 需要实时或者准实时的流式采集,有些应用90%写vs.10%读。 数据需要长时间存储,非热点数据也会被随机访问。

传统数据与大数据处理服务器系统安装对比

传统数据下服务器系统安装 在传统数据背景下,服务器系统安装中,系统硬盘、数据硬盘完全隔离。通常会将多块数据硬盘制作成LVM(逻辑卷),即将多块物理硬盘通过软件技术“拼接”在一起形成一个大的硬盘(逻辑上是一个硬盘)。

在这里插入图片描述
大数据下服务器系统安装 在大数据背景下,服务器系统安装中,系统硬盘、数据硬盘完全隔离。数据硬盘必须独立挂载,每个硬盘挂载到系统的一个独立的目录下。
在这里插入图片描述