存储与数据库 | 青训营笔记

48 阅读2分钟

存储与数据库

存储系统:

一个提供了读写、控制类接口,能够安全有效地把数据持久化的软件,就可以称为存储系统

系统特点:

  1. 作为后端软件的底座,性能敏感
  2. 存储系统软件架构,容易受硬件影响
  3. 存储系统代码,既"简单"又“复杂”
关系型和非关系型数据库
  • 关系型数据库是存储系统,但是在存储之外,又发展出其他能力
  • 非关系型数据库也是存储系统,但是一般不要求严格的结构化
单机存储
  • 单机存储=单个计算机节点上的存储软件系统,一般不涉及网络交互
  • 常见使用方式:put(k,v) &get(k)
  • 常见数据结构:LSM-Tree,某种程度上牺牲读性能,追求写入性能
  • 拳头产品:RocksDB
分布式存储
  1. 分布式存储=在单机存储基础上实现了分布式协议,涉及大量网络交互
  2. 核心特点:
  • 支持海量数据存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通x86服务器,性价比高

存储系统

  • 块存储:存储软件栈里的底层系统,接口过于朴素
  • 文件存储:日常使用最广泛的存储系统,接口十分友好,实现五花八门
  • 对象存储:公有云上的王牌产品, immutable语义加持
  • key-value存储:形式最灵活,存在大量的开源/黑盒产品

数据智能类技术在今天已取得突破性进展,随着新材料、能源、通信技术的快速演进,未来5 年,依托算力、数据、算法的数据库、数据与智能技术将出现更具想象力的变革与创新。可以期待的是:

  1. 数据编织、现代数据栈和数据操作流程自动化等现代数据管理方法在中国逐渐生根发芽;
  2. 实时云原生、流批湖仓一体化、Serverless和增强分析初步奠定新一代数字化平台基础;
  3. 分布式、内存技术、流式处理、NewSQL、HTAP 等技术特征日趋成熟;
  4. 自然语言处理、机器学习、增强分析等人工智能技术、数据应用、数据科学发展迅速;
  5. 开源生态与数据运维领域加速合作与成长;
  6. 客户的应用场景多元化,进一步扩张以数据库为核心,以数字化转型升级为根本的数字市场规模;
  7. 数据云与数据资产化、民主化、全球化合作,将进一步放大数据库的商业与社会价值。