[Spark]深入解密Spark SQL源码:Catalyst框架如何优雅地解析你的SQL

59 阅读1分钟

总结

先写个总结,接下来会分别产出各个部分的源码解析,Spark SQL主要分为以下五个执行部分。 在这里插入图片描述

具体例子

接下来举个具体的例子来说明

执行语句

SELECT name, age FROM users WHERE age > 18

假设 我要从users这张表里面取出 name,age 两个字段

解析层

![在这里插入图片描述](i-blog.csdnimg.cn/direct/4a1c… 分析层 在这里插入图片描述

优化层

在这里插入图片描述

物理计划层

在这里插入图片描述

执行层

在这里插入图片描述

猜你喜欢

[LevelDB]Block系统内幕解析-元数据块(Meta Block)&元数据索引块(MetaIndex Block)&索引块(Index Block):editor.csdn.net/md/?article… 一文了解LevelDB数据库读取流程:blog.csdn.net/luog_aiyu/a… 一文了解LevelDB数据库写入流程:blog.csdn.net/luog_aiyu/a… 关于LevelDB存储架构到底怎么设计的:blog.csdn.net/luog_aiyu/a…

PS

你的赞是我很大的鼓励 我是darkchink,一个计算机相关从业者&一个摩托佬&AI狂热爱好者 本职工作是某互联网公司数据相关工作,欢迎来聊,内推或者交换信息 vx 二维码见: www.cnblogs.com/DarkChink/p…