认识存储与数据库
经典案例
一条数据从产生到数据流动,最后持久化的全生命周期
数据的流动
生成结构化的数剧 -》 后端服务器 -》数据库
存在数据库的意义是将需要记忆的数据持久化下来
数据的持久化
数据库校验数据的合法性 -》 在内存中做结构化组织数据 -》写入存储介质
潜在问题
存储 & 数据库简介
存储系统
概览
系统特点
io的写法是简单,但是存在很多种异常,需要处理这些异常分支的处理。
存储器层级结构
塔尖的访问速度大,但是很贵,存储量小
塔底的访问速度小,但是便宜,存储容量大
中间层会不会存在一些中和?-》persistent memory
数据如何从应用到存储介质
拷贝是非常消耗资源,消耗cpu
缓存是为了中和软硬件之间接口大小不同
RAID技术
RAID -》Redundant Array of Independent Disks
数据库
概览
关系型数据库 vs 非关系型数据库 SQL=一种DSL=方便人类阅读的关系代数表达形式
关系型数据库特点
非关系型数据库特点
数据库 vs 经典存储
结构化数据管理
事务能力
事物的特性:A原子性、C一致性、I隔离性、D持久性
数据库操作中最小的单元!
复杂查询能力
数据库使用方式
总结
数据流动在数据库存储系统中起着至关重要的作用。它涉及从数据的采集、传输、处理到最终的存储和检索过程。数据库存储中的数据流动可以分为几个主要阶段。
首先,数据采集是数据流动的起点。数据可以从各种来源获取,包括传感器、用户输入、外部系统等。在数据采集阶段,需要确保数据的准确性和完整性。常见的数据采集技术包括传感器网络、Web爬虫和人工数据输入等。数据采集的方式和方法根据具体的应用场景而异。
接下来是数据传输阶段。一旦数据被采集,它们需要通过网络或其他途径传输到数据库存储系统。数据传输可以通过有线或无线网络进行,例如局域网、广域网或云服务提供商的网络。在数据传输过程中,数据的安全性和完整性是需要考虑的关键问题。加密技术和网络协议可以用于确保数据的安全传输。
在数据传输到数据库存储系统后,下一个阶段是数据处理和转换。这包括数据清洗、转换和集成等任务。数据清洗涉及去除错误、重复或不一致的数据,以确保数据的质量和准确性。数据转换可以将数据从一种格式或结构转换为另一种,以适应数据库的要求。数据集成则是将来自不同源的数据合并到一个一致的数据集中。
一旦数据被处理和转换,它们将被存储在数据库中。数据库是一个用于存储和管理数据的结构化系统。数据存储在数据库中,以便随时进行检索和使用。数据库的选择取决于应用的需求和数据的特性。常见的数据库类型包括关系型数据库(如MySQL、Oracle)和非关系型数据库(如MongoDB、Redis)等。
最后,数据流动的最后阶段是数据的检索和应用。一旦数据存储在数据库中,用户可以通过查询语言(如SQL)或API访问数据。数据的检索和应用可以用于生成报表、进行分析和支持决策等。数据的应用也可以通过应用程序接口(API)提供给其他系统使用。
总而言之,数据库存储中数据的流动涉及数据的采集、传输、处理、存储和应用等多个阶段。这些阶段都起着至关重要的作用,影响着数据的质量和可用性。因此,在设计和管理数据库存储系统时,需要充分考虑数据流动的各个方面,以确保数据的有效管理和利用。
标题:认识存储与数据库 - 掘金