这是我参与「第三届青训营 -后端场」笔记创作活动的的第14篇笔记
经典案例
数据的产生
某天．小明同学下载了一个新的APP。因为第一次登陆．所以进入APP后需要注册一个新的账号
于是小明同学三下五除二地填好了资料，按下了「注册」按钮 就这样。数据就从无到有地产生了、并且在数十/数百亳秒内向APP的后端服务器飞奔而去……
数据的流动
数据的持久化
潜在的问题
- 数据库怎么保证数据不丢?
- 数据库怎么处理多人同时修改的问题?
- 为什么用数据库,除了数据库还能存到别的存储系统吗?
- 数据库只能处理结构化数据吗?
- 有哪些操作数据库的方式,要用什么编程语言?
存储&数据库简介
存储系统 - 系统概览
一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
存储系统 - 系统特点
存储系统 - 存储器层级结构
存储系统 - 数据怎么从应用到存储介质
- 「缓存」很重要．贯穿整个存储体系
- 「拷贝」很昂责．应该尽量减少
- 硬件设备五花八门．需要有抽象统一的接入层
存储系统 - RAID技术
Q: 单机存储系统怎么做到高性能/高性价比/高可靠性?
A: R(edundant) A(rray) of I(nexpensive) D(isks)
RAID出现的背景:
- 单块大客量磁盘的价格>多块小容量磁盘
- 单块磁盘的写入性能<多块磁盘的并发写入性能
- 单块磁盘的容错能力有限．不够安全
数据库
数据库与存储系统不一样吗？
概览
关系是什么?
关系型数据库特点
关系型数据库是存储系统,但是在存储之外，又发展出其他能力
非关系型数据库特点
非关系型数据库也是存储系统,但是一般不要求严格的结构化
数据库VS经典存储 - 结构化数据管理
数据库VS经典存储 - 事务能力
凸显出数据库支持「事务」的优越性
事务具有:
- A(tomicity)．事务内的操作要么全做．要么不做
- C(onsistency)，事务执行前后．数据状态是一致的
- I(solation)、可以隔离多个并发事务．避免影响
- D(urability)．事务一旦提交成功.数据保证持久性
数据库VS经典存储 - 复杂查询能力
Q:写入数据之后．想做很复杂的查询怎么办?
Example:请查询出名字以xiao开头,且密码提示问题小于10个字的人．并按性别分组统计人数
数据库使用方式
以SQL为例．要操作数据时，支持以下操作:
- Insert
- Update
- Select
- Delete
- Where子句
- GroupBy
- OrderBy
要对数据定义做修改时，支持以下操作:
- Create user
- Create database
- Create table
- Alter table
- ...
主流产品剖析
单机存储
概览
单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互
本地文件系统
Linux经典哲学:一切皆文件
文件系统的管理单元:文件 文件系统接口:文件系统繁多,如Ext2/3/4, sysfs, rootfs等。但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构: Index Node & Directory Entry
key - value 存储
世间一切皆key-value
--key是你身份证，value是你的内涵:)
常见使用方式:put(k,v)&get(k)
常见数据结构:LSM-Tree．某种程度上牺牲读性能,追求写入性能
拳头产品: RocksDB
分布式存储
概览
分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互
HDFS
HDFS:堪称大数据时代的基石
时代背景:专用的高级硬件很贵,同时数据存量很大,要求超高吞吐
HDFS 核心特点
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器．性价比高
Ceph
Ceph:开源分布式存储系统里的「万金油」
Ceph的核心特点:
- 一套系统支持对象接口、块接口、文件接口。但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法
- HASH ＋ 权重 ＋ 随机抽签
单机数据库
单机数据库 = 单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务
关系型数据库
商业产品Oracle称王,开源产品MySQL & PostgresQL称霸
非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立
- 关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
- 非关系型数据库的数据结构千奇百怪,没有关系约束后, schema相对灵活
- 不管是否关系型数据库．大家都在尝试支持SQL(子集)和“事务”
Elasticsearch 使用案例
从单机到分布式数据库
单机数据库遇到了哪些问题&挑战，需要我们引入分布式架构来解决?
解决容量问题
解决弹性问题
解决性价比问题
More to Do
新技术演进
概览
SPDK
Bypass Os kernel已经成为一种趋势
AI & Storage
AI领域相关技术． 如Machine Learning在很多领域:如推荐、风控、视觉领域证明了有效性
