spark 培训 20220829

160 阅读1分钟

bin/spark-shell

Spark context Web UI available at http://192.168.101.128:4040 Spark context available as 'sc' (master = local[*], app id = local-1661768254759). Spark session available as 'spark'.

1、spark算子实例:

2、rdd算子 文档例子都跑一边

3、Spark算子:homepage.cs.latrobe.edu.au/zhe/ZhenHeS…

4、窄依赖、宽依赖

5、

1661756039965.png

6、特性

依赖关系:

容错点机制: 检查点checkpoint

image.png 缓存机制

7、rockdb 类似于redis的缓存机制

image.png

image.png

image.png

image.png