认识存储与数据库| 青训营笔记

115 阅读4分钟

认识存储与数据库

经典案例

一条数据从产生到数据流动,最后持久化的全生命周期

image.png

数据的流动

image.png 生成结构化的数剧 -》 后端服务器 -》数据库 存在数据库的意义是将需要记忆的数据持久化下来

数据的持久化

image.png 数据库校验数据的合法性 -》 在内存中做结构化组织数据 -》写入存储介质

潜在问题

image.png

存储 & 数据库简介

存储系统

概览

image.png

系统特点

image.png io的写法是简单,但是存在很多种异常,需要处理这些异常分支的处理。

存储器层级结构

image.png 塔尖的访问速度大,但是很贵,存储量小 塔底的访问速度小,但是便宜,存储容量大 中间层会不会存在一些中和?-》persistent memory

数据如何从应用到存储介质

image.png 拷贝是非常消耗资源,消耗cpu 缓存是为了中和软硬件之间接口大小不同

RAID技术

image.png RAID -》Redundant Array of Independent Disks

数据库

概览

关系型数据库 vs 非关系型数据库 SQL=一种DSL=方便人类阅读的关系代数表达形式

image.png

关系型数据库特点

image.png

非关系型数据库特点

image.png

数据库 vs 经典存储

结构化数据管理

image.png

事务能力

image.png 事物的特性:A原子性、C一致性、I隔离性、D持久性 数据库操作中最小的单元!

复杂查询能力

image.png

数据库使用方式

image.png

总结

数据流动在数据库存储系统中起着至关重要的作用。它涉及从数据的采集、传输、处理到最终的存储和检索过程。数据库存储中的数据流动可以分为几个主要阶段。

首先,数据采集是数据流动的起点。数据可以从各种来源获取,包括传感器、用户输入、外部系统等。在数据采集阶段,需要确保数据的准确性和完整性。常见的数据采集技术包括传感器网络、Web爬虫和人工数据输入等。数据采集的方式和方法根据具体的应用场景而异。

接下来是数据传输阶段。一旦数据被采集,它们需要通过网络或其他途径传输到数据库存储系统。数据传输可以通过有线或无线网络进行,例如局域网、广域网或云服务提供商的网络。在数据传输过程中,数据的安全性和完整性是需要考虑的关键问题。加密技术和网络协议可以用于确保数据的安全传输。

在数据传输到数据库存储系统后,下一个阶段是数据处理和转换。这包括数据清洗、转换和集成等任务。数据清洗涉及去除错误、重复或不一致的数据,以确保数据的质量和准确性。数据转换可以将数据从一种格式或结构转换为另一种,以适应数据库的要求。数据集成则是将来自不同源的数据合并到一个一致的数据集中。

一旦数据被处理和转换,它们将被存储在数据库中。数据库是一个用于存储和管理数据的结构化系统。数据存储在数据库中,以便随时进行检索和使用。数据库的选择取决于应用的需求和数据的特性。常见的数据库类型包括关系型数据库(如MySQL、Oracle)和非关系型数据库(如MongoDB、Redis)等。

最后,数据流动的最后阶段是数据的检索和应用。一旦数据存储在数据库中,用户可以通过查询语言(如SQL)或API访问数据。数据的检索和应用可以用于生成报表、进行分析和支持决策等。数据的应用也可以通过应用程序接口(API)提供给其他系统使用。

总而言之,数据库存储中数据的流动涉及数据的采集、传输、处理、存储和应用等多个阶段。这些阶段都起着至关重要的作用,影响着数据的质量和可用性。因此,在设计和管理数据库存储系统时,需要充分考虑数据流动的各个方面,以确保数据的有效管理和利用。

标题:认识存储与数据库 - 掘金

网址:juejin.cn/course/byte…