这是我参与「第五届青训营 」伴学笔记创作活动的第 33 天
数据库基本概念
数据库是结构化信息或数据的有序集合,一般以电子形式存储在计算机系统中。通常由数据库管理系统 (DBMS) 来控制。在现实中,数据、DBMS 及关联应用一起被称为数据库系统,通常简称为数据库。
简单例子
- 数据解析整理成有序集合
- 数据的写入和读取,可以通过查询语言获取想要的信息
数据库的类型
第一大类
-
关系数据库:关系型数据库是把数据以表的形式进行储存,然后再各个表之间建立关系,通过这些表之间的关系来操作不同表之间的数据。
-
非关系数据库 : NoSQL 或非关系数据库,支持存储和操作非结构化及半结构化数据。相比于关系型数据库,NoSQL没有固定的表结构,且数据之间不存在表与表之间的关系,数据之间可以是独立的。NoSQL的关键是它们放弃了传统关系型数据库的强事务保证和关系模型,通过所谓最终一致性和非关系数据模型(例如键值对,图,文档)来提高Web应用所注重的高可用性和可扩展性。
第二大类
-
单机数据库:在一台计算机上完成数据的存储和查询的数据库系统。
-
分布式数据库 : 分布式数据库由位于不同站点的两个或多个文件组成。数据库可以存储在多台计算机上,位于同一个物理位置,或分散在不同的网络上。
第三大类
-
OLTP 数据库 : OLTP(Online transactional processing)数据库是一种高速分析数据库,专为多个用户执行大量事务而设计。
-
OLAP 数据库:OLAP (Online analytical processing) 数据库旨在同时分析多个数据维度,帮助团队更好地理解其数据中的复杂关系
OLAP数据库
- 大量数据的读写,PB级别的存储
- 多维分析,复杂的聚合函数
4. 窗口函数,自定义UDF(User Define Function)
5. 离线/实时分析,对查询速度有要求
SQL
一种编程语言,目前几乎所有的关系数据库都使用 SQL (Structured Query Language ) 编程语言来查询、操作和定义数据,进行数据访问控制。
SQL结构
查询包含一系列含有最终结果的字段, 紧跟
SELECT关键词。星号("*")也可以用来指定查询应当返回查询表所有字段,可选的关键词和子句包括:
FROM子句指定了选择的数据表。FROM子句也可以包含JOIN二层子句来为数据表的连接设置规则。WHERE子句后接一个比较谓词以限制返回的行。WHERE子句仅保留返回结果里使得比较谓词的值为True的行。GROUP BY子句用于将若干含有相同值的行合并。GROUP BY通常与SQL聚合函数连用,或者用于清除数据重复的行。GROUP BY子句要用在WHERE子句之后。HAVING子句后接一个谓词来过滤从GROUP BY子句中获得的结果,由于其作用于GROUP BY子句之上,所以聚合函数也可以放到其谓词中。ORDER BY子句指明将哪个字段用作排序关键字,以及排序顺序(升序/降序),如果无此子句,那么返回结果的顺序不能保证有序。
SQL优点
-
标准化,ISO和ANSI是长期建立使用的SQL数据库标准
-
高度非过程化,用SQL进行数据操作,用户只需提出“做什么”,而不必指明“怎么做”,因此用户无须了解存取路径,存取路径的选择以及SQL语句的操作过程由系统自动完成。这不但大大减轻了用户负担,而且有利于提高数据独立性。
-
以同一种语法结构提供两种使用方式,用户可以在终端上直接输入SQL命令对数据库进行操作。作为嵌入式语言,SQL语句能够嵌入到高级语言(如C、C#、JAVA)程序中,供程序员设计程序时使用。而在两种不同的使用方式下,SQL的语法结构基本上是一致的。
-
语言简洁,易学易用:SQL功能极强,但由于设计巧妙,语言十分简洁,完成数据定义、数据操纵、数据控制的核心功能只用了9个动词:CREATE、ALTER、DROP、SELECT、INSERT、UPDATE、DELETE、GRANT、REVOKE。且SQL语言语法简单,接近英语口语,因此容易学习,也容易使用。
数据库架构
红色部分
Parser: 词法分析,语法分析,生成AST树 (Abstract syntax tree)
Analyzer:变量绑定、类型推导、语义检查、安全、权限检查、完整性检查等,为生成计划做准备
Optimizer:为查询生成性能最优的执行计划,进行代价评估
Executor: 将执行计划翻译成可执行的物理计划
存储引擎
-
管理内存数据结构【index、内存数据、缓存(Query cache、Data cache、Index cache)】
-
管理磁盘数据【磁盘数据的文件格式、磁盘数据的增删查改】
-
读写算子【数据写入逻辑、数据读取逻辑】