分布式计算框架hadoop体系(一)

435 阅读1分钟

分布式计算框架整体展示:

hadoop体系大数据分布式计算框架结构.png

分布式计算框架的搭建:

  1. 需要搭建hdfs系统(可搭建方式有单机——伪分布式-完全分布式-HA模式)(zookeeper做高可用)

  2. 如果使用map reduce需搭建yarn环境,使用spark也需要借助yarn环境或者自己的standalone。(有用到zookeeper)

  3. 有计算任务时执行spark程序或者map reduce程序即可

  4. 可通过hive以sql方式进行数据分析,hive可将sql转为mapreduce程序或者spark程序