SQL Optimizer解析预习|青训营笔记

85 阅读3分钟

这是我参与「第四届青训营 」笔记创作活动的的第1天,在老师发的课前预习上,看到了需要预习的知识点,但是有许多还是不了解,于是对相应的概念进行了查找和总结。以下是相关概念的总结。

1.批式处理:批计算是指对静态数据的批量处理,即当开始计算之前数据已经准备到位,主要用于数据挖掘和验证业务模型;

2.流式计算是指对具有时效性的数据进行的计算,流式计算需要依赖上游数据传输的正确性和实时性以及下游存储系统的高吞吐(有spark-stream的微批流式计算和flink的纯流式计算)

3.交互分析引擎:交互式处理(Interactive Processing)是操作人员和系统之间存在交互作用的信息处理方式。  操作人员通过终端设备(如输入输出系统)输入信息和操作命令,系统接到后立即处理,并通过终端设备显示处理结果。在大数据领域中,交互式计算(处理)引擎是针对大数据具备交互式分析能力的分布式计算引擎,它通常用于OLAP(Online Analytical Processing,联机分析处理)场景。相比于批处理引擎(MapReduce或Hive),它对数据处理性能要求更高。

为了实现高性能数据处理,交互式计算引擎通常采用(Massively Parallel Processing)架构,并充分使用内存加速。为了方便数据分析人员表达自己的查询意图,交互式计算引擎通常支持SQL或JSON等查询语言。当前比较主流的交互式计算引擎包括ROLAP(Relational OLAP)类型的SQL查询引擎Impala和Presto,MOLADP(Multidimenisional OLAP)类型的OLAP查询引擎Druid和Kylin等。

  1. Kubernetes,简称 k8s(k,8 个字符,s——明白了?)或者 “kube”,是一个开源的 Linux 容器自动化运维平台,它消除了容器化应用程序在部署、伸缩时涉及到的许多手动操作。换句话说,你可以将多台主机组合成集群来运行 Linux 容器,而 Kubernetes 可以帮助你简单高效地管理那些集群。构成这些集群的主机还可以跨越公有云、私有云以及混合云。
  2. 词法分析(英语:lexical analysis)是计算机科学中将字符序列转换为单词(Token)序列的过程。进行词法分析的程序或者函数叫作**词法分析器 (Lexical analyzer,简称Lexer),也叫扫描器**(Scanner)。词法分析器一般以函数的形式存在,供语法分析器调用。 完成词法分析任务的程序称为词法分析程序或词法分析器或扫描器。
  3. 语法分析:语法分析就是根据高级语言的语法规则对程序的语法结构进行分析,语法分析的任务就是在词法分析识别出正确的单词符号串是否符合语言的语法规则,分析并识别各种语法成分,同时进行语法检查和错误处理,为语义分析和代码生成做准备。
  4. 抽象语法树(abstract syntax tree,AST)  是源代码的抽象语法结构的树状表示,树上的每个节点都表示源代码中的一种结构,这所以说是抽象的,是因为抽象语法树并不会表示出真实语法出现的每一个细节

总结:在众多名字概念中,找到这些名词的释义,让我了解并知道了一些技术与方法,对于听课有很大的帮助。