分布式计算框架hadoop体系(一) 清水河畔 2021-07-15 574 阅读1分钟 分布式计算框架整体展示: 分布式计算框架的搭建: 需要搭建hdfs系统(可搭建方式有单机——伪分布式-完全分布式-HA模式)(zookeeper做高可用) 如果使用map reduce需搭建yarn环境,使用spark也需要借助yarn环境或者自己的standalone。(有用到zookeeper) 有计算任务时执行spark程序或者map reduce程序即可 可通过hive以sql方式进行数据分析,hive可将sql转为mapreduce程序或者spark程序