一条数据从产生,到数据流动(从一开始的产生,传到后端服务器,再到数据库,贯穿在各类系统中),最后持久性的全生命周期。(校验数据的合法性,用高效的数据结构组织数据,修改内存,以寿命和性能友好的方式写入硬件) 存储系统:一个提供了读写、控制类接口,能够安全有效地把数据持久化的软件。 存储系统特点:性能敏感,容易受硬件影响,存储系统代码,既复杂又简单。 RAID技术:使单机存储系统更加的高性能/高性价比/高可靠性。 数据库分为关系型数据库和非关系型数据库。关系型数据库是存储系统,但在存储之外,它对结构化数据友好,支持事务,支持复杂查询语言(sql)。非关系型数据库也是存储系统,但是一般不要求严格的结构化。 主流产品: 1.单机存储 单个计算机节点上的存储软件系统,一般不涉及网络交互。 本地文件系统: 文件系统的管理单元:文件 文件系统接口:文件系统繁多,如Ext2/3/4,sysfs,rootfs等,但都遵循VFS的统一抽象接口 Linux文件系统的两大数据结构:Index Node & Directory Entry lndex Node: 记录文件元数据,如id、大小、权限、磁盘位置等 inode是一个文件的唯一标识,会被存储到磁盘上 inode的总数在格式化文件系统时就固定了
Directory Entry: 记录文件名、inode指针,层级关系(parent)等 dentry是内存结构,与inode的关系是N:1(hardlink的实现)
key-value存储: 常见使用方式: put(k, v) & get(k) 常见数据结构:LSM-Tree,某种程度上牺牲读性能,追求写入性能 拳头产品:RocksDB
2.分布式存储:在单机存储基础上实现了分布式协议,涉及大量网络交互 数据分布策略︰决定了数据怎么分布到集群里的多个物理节点,是否均匀,是否能做到高性能 数据复制协议︰影响IO路径的性能、机器故障场景的处理方式 分布式事务算法:多个数据库节点协同保障一个事务的ACID特性的算法,通常基于2pc的思想设计 分布式文件系统 分布式对象存储 HDFS核心特点: 支持海量数据存储 高容错性 弱POSIX语义 使用普通x86服务器,性价比高
Ceph的核心特点: 一套系统支持对象接口、块接口、文件接口,但是一切皆对象 数据写入采用主备复制模型 数据分布模型采用CRUSH算法(HASH+权重+随机抽签)
3.单机关系型数据库:单个计算机节点上的数据库系统 4.单机非关系型数据库 事务在单机内执行,也可能通过网络交互实现分布式事务 关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同 非关系型数据库的数据结构千奇百怪,没有关系约束后,schema相对灵活 不管是否关系型数据库,大家都在尝试支持SQL(子集)和“事务”
5.分布式数据库:解决容量问题,解决弹性问题,解决性价比问题
新技术演进:高性能硬件 RDMA网络 Persistent Memory 可编程交换机 CPU/GPU/DPU