大数据指无法用传统数据库软件工具对其内容进行抓取、管理和处理的大体量数据集合。
海量数据处理指判断数据的价值。
\
一、海量数据分成两块，一是系统建设技术，二，海量数据应用。
目前我了解大数据的职位：
大数据架构工程师
大数据算法工程师（数据分析工程师，数据挖掘工程师）
大数据运维工程师
\
二、系统建设技术
目前常用的hadoop生态圈技术，结构如图：
涉及到应用类型，数据类型，安全性，机架服务器数量，性能，运维，这个实验性特别高。
一些应用上的算法具体问题再详细学习，项目驱动方式学习技术。
\
三、海量数据应用
算法是数据的表现形式，必须兼具计算机科学基础和统计基础。
现在有一个高大上的职业叫数据科学家，有人说数据科学家就是一个比程序员更懂统计的统计学家，一个比统计学家更会编程的程序员。觉得说得很形象。
基础中的基础：
线性代数，概率论
核心知识：
数理统计
预测模型
机器学习
\
数据挖掘方法，例如：线性回归，逻辑回归，决策树分群，聚类、关联分析、SVM，贝叶斯，神经网络等；
\
\
