spark-第一天下午

37 阅读1分钟

1、主从节点 共需要3台机器 主节点: 从节点只需要SCP即可

zookeeper

XShell进行操作 sbin/start-all.sh 启动 jps查看进程

111 Master 112 Worker spark-submit

借助ZooKeeper实现HA

主从架构

image.png

image.png

只要是主从架构就存在单点故障,借助zookeeper实现HA功能,zookeeper可以当成一个数据库来看,有选举机制,当active死了,把standby复活。

秒杀,使用redis或者zookeeper实现。

image.png

image.png

image.png