分布式计算框架整体展示:
分布式计算框架的搭建:
-
需要搭建hdfs系统(可搭建方式有单机——伪分布式-完全分布式-HA模式)(zookeeper做高可用)
-
如果使用map reduce需搭建yarn环境,使用spark也需要借助yarn环境或者自己的standalone。(有用到zookeeper)
-
有计算任务时执行spark程序或者map reduce程序即可
-
可通过hive以sql方式进行数据分析,hive可将sql转为mapreduce程序或者spark程序
需要搭建hdfs系统(可搭建方式有单机——伪分布式-完全分布式-HA模式)(zookeeper做高可用)
如果使用map reduce需搭建yarn环境,使用spark也需要借助yarn环境或者自己的standalone。(有用到zookeeper)
有计算任务时执行spark程序或者map reduce程序即可
可通过hive以sql方式进行数据分析,hive可将sql转为mapreduce程序或者spark程序