存储系统(day6)｜青训营

崔崔ing
106 阅读9分钟

存储系统是指用于存储和管理数据的一种计算机系统。它提供了持久性的数据存储，可以存储和访问大量的数据，并且能够确保数据的完整性和可靠性。

一个存储系统通常由以下几个核心组件组成：

  1. 存储介质：存储系统使用不同的物理介质来保存数据，例如硬盘驱动器（HDD）、固态驱动器（SSD）、磁带等。这些介质根据其可读写性、存储容量和性能等方面的特点被选用。

  2. 存储管理软件：存储管理软件负责控制和管理数据的存储、检索和删除等操作。它提供了高效的数据访问接口和文件系统来组织数据，同时还负责数据的备份、快照、压缩和加密等功能。

  3. 存储网络：存储系统通常需要通过存储网络与计算节点进行通信。存储网络可以是传统的本地区域网络（LAN）或广域网（WAN），也可以是更高级的存储区域网络（SAN）或网络附加存储（NAS）。

  4. 存储架构：存储架构决定了数据是如何在存储系统中组织和访问的。常见的存储架构包括直接连接存储和网络存储，其中网络存储又包括网络连接的存储和分布式存储等。不同的存储架构有其各自的优缺点，具体选择应根据需求特点进行评估和决策。

  5. 存储协议：存储系统通过特定的存储协议与计算节点通信，实现数据的读写和操作。

    RAID（Redundant Array of Independent Disks）是一种通过将多个独立硬盘组合在一起，形成一个逻辑上的存储设备来提供数据保护和性能增强的技术。RAID技术可以在多个硬盘之间实现数据的分布式存储和冗余备份。

RAID技术主要有以下几种级别：

  1. RAID 0：数据被平均地分布到多个磁盘上，提高了读写性能，但没有数据冗余备份功能。它适用于对性能要求较高而对数据可靠性要求较低的应用。

  2. RAID 1：将数据同时写入两个磁盘以实现冗余备份，提高了数据的可靠性。RAID 1支持热备插拔，即在磁盘故障时可以热替换损坏的磁盘。

  3. RAID 5：将数据和校验信息分布到多个磁盘上，并通过奇偶校验来恢复数据。RAID 5的优点是在较少的磁盘数目上提供了良好的读写性能和数据冗余备份。

  4. RAID 6：类似于RAID 5，但使用了双重奇偶校验，提供了更高的数据冗余性和更好的故障容忍能力。RAID 6可以同时容忍两个磁盘的故障。

  5. RAID 10：将多个RAID 1组合成RAID 0，同时具备了高性能和数据冗余备份。RAID 10提供了很好的读写性能和故障容忍能力，但需要较多的磁盘数量。

这些是常见的RAID级别，每种级别都根据不同的需求平衡了性能、容量和可靠性。选取适合自己需求的RAID级别需要考虑到存储需求、性能要求和可接受的故障容忍能力。

当谈到单机存储时，Go语言提供了多种选择，以下是几个常见的单机存储方案：

  1. 文件系统存储：将数据直接存储在文件系统中，可以用于存储配置文件、日志文件、临时文件等。在Go中，可以使用标准库中的os和io/ioutil包来操作文件。
data := []byte("some data")
err := ioutil.WriteFile("data.txt", data, 0644)
if err != nil {
    // handle error
}
  1. 内存存储：将数据存储在内存中，可以用于缓存数据或临时存储。在Go中，可以使用标准库中的map类型来实现内存存储。
var cache = make(map[string]interface{})
cache["key"] = value
  1. SQLite数据库：SQLite是一个轻量级的磁盘数据库，可以用于单机存储。在Go中，可以使用第三方库go-sqlite3来操作SQLite数据库。
db, err := sqlite3.Open("database.db")
if err != nil {
    // handle error
}
defer db.Close()

_, err = db.Exec("CREATE TABLE users (id INTEGER PRIMARY KEY, name TEXT)")
if err != nil {
    // handle error
}
  1. Redis数据库：Redis是一个开源的内存数据结构存储，可以作为单机存储的一种选择。在Go中，可以使用第三方库goredis来操作Redis数据库。
client, err := redis.Dial("tcp", ":6379")
if err != nil {
    // handle error
}
defer client.Close()

_, err = client.Do("SET", "key", "value")
if err != nil {
    // handle error
}

  8分布式存储是一种将数据分散存储在多个独立的设备上的数据存储技术。它利用网络，将企业中每台机器的磁盘空间利用起来，将这些分散的存储资源构成一个虚拟的存储设备。在分布式存储系统中，数据会被分散地存储在企业的各个角落，这使得数据存储不再依赖于单个服务器或存储设备，提高了系统的可靠性和容错性。同时，分布式存储系统还易于扩展，可以随着企业规模的增长而扩展存储容量和性能。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，而分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，提高了系统的可靠性、可用性和存取效率。


Ceph是一个开源的、分布式的存储系统，它提供了软件定义的、统一的存储解决方案。Ceph的设计理念是实现大规模可扩展、高性能并且无单点故障的存储服务，它适用于多种应用场景，包括块存储、文件存储和对象存储。

Ceph的架构具有以下特点：

  1. 所有组件必须可扩展，不能存在单点故障。
  2. 解决方案必须是软件定义的、开源的并且可适配的。
  3. 软件应该运行在通用商用硬件之上，所有组件必须尽可能自我管理。

Ceph的存储系统在同一个底层架构上提供了块、文件和对象存储，使得用户可以自主选择他们需要的存储方式。Ceph的底层架构包括多个组件，如Object、PG、CRUSH、RBD、RGW和CephFS等。

Object是Ceph的最底层存储单元，它包含元数据和原始数据。PG是引入的一个中间层，用于更好地分配数据和定位数据。CRUSH是Ceph底层使用的数据分布算法，它让数据分配到预期的地方。RBD是Ceph对外提供的块设备服务，RGW是Ceph对外提供的对象存储服务，接口与S3和Swift兼容。CephFS是Ceph对外提供的分布式文件存储服务。

在Ceph的运用中，Go是一种常用的编程语言。Go在Ceph中的运用包括但不限于以下方面：

  1. 开发和管理Ceph的OSD（对象存储设备）监控系统。
  2. 实现Ceph的RADOS网关（RGW）服务。
  3. 开发和管理Ceph的管理工具，如ceph-deploy和cephadm等。
  4. 实现Ceph的分布式文件系统CephFS。

通过使用Go语言，可以更方便地开发和管理Ceph的系统组件，提高系统的可靠性和性能。

关系型数据库（Relational Database，RDB）和非关系型数据库（Non-Relational Database，NRDB）是两种常见的数据库类型。它们在数据存储方式、数据结构、查询语言等方面存在显著的区别。

关系型数据库是一种将数据存储在表格中的数据库，这些表格通过键关联在一起。表格由行（记录）和列（字段）组成，遵循一定的模式。关系型数据库的特点包括：

  1. 数据存储在表格中：数据以二维表的形式存储，每个表由行和列组成，可以定义表的主键和外键，实现数据的关联存储。
  2. 数据和关系的分离：关系型数据库遵循数据和关系的分离原则，即数据的存储和数据的关联关系是分离的。这有助于保持数据的完整性。
  3. 使用SQL语言进行操作：关系型数据库使用结构化查询语言（SQL）进行数据的查询、插入、更新和删除等操作。

常见的开源关系型数据库包括Oracle、MySQL、SQL Server和PostgreSQL等，它们都是主流的关系型数据库系统。

非关系型数据库（Non-Relational Database，NRDB）与关系型数据库不同，它们通常没有固定的数据模型和结构，可以动态扩展。非关系型数据库适用于存储大量半结构化或非结构化的数据，如日志、图片、文件等。非关系型数据库的特点包括：

  1. 数据存储方式的灵活性：非关系型数据库可以存储各种类型的数据，包括文本、图片、视频等。数据的存储方式灵活，可以根据数据的特性进行优化。
  2. 无需预先定义数据结构：非关系型数据库通常不需要预先定义表的结构，可以随时存储不同类型的数据。这使得非关系型数据库具有很高的灵活性和可扩展性。
  3. 高性能和可扩展性：非关系型数据库通常具有高性能和可扩展性，可以处理大量数据和高并发访问。

常见的非关系型数据库包括MongoDB、Cassandra、Redis等。这些数据库各有特点，适用于不同的应用场景。

总的来说，关系型数据库和非关系型数据库在数据存储方式、数据结构、查询语言等方面存在显著的区别。关系型数据库适合处理需要复杂数据关联的应用场景，而非关系型数据库则更适合处理大量半结构化或非结构化数据。在实际应用中，根据具体需求选择适合的数据库类型是至关重要的。

avatar
文章
阅读
粉丝