🔻重删压缩大法好,数据激增不能少从( ̄︶ ̄)↗ 🔺

1,024 阅读3分钟

这是我参与8月更文挑战的第4天,活动详情查看:8月更文挑战” 数据重删压缩(SmartDedupe&SmartCompression)功能为文件系统和 Thin LUN 提供数据精简的服务。可以为客户节约空间的同时也减少了企业 IT 架构的 TCO(Total Cost Ownership)。接下来,分别带大家了解一下重删和压缩功能......

在线重删(SmartDedupe)

在线重删特性基于在线处理的方式实现了文件系统和 Thin LUN 的数据重删功能。 在系统中,重删功能的粒度和文件系统或者 ThinLUN 的最小读写单元 Grain 保持一 致。同时,由于用户在创建文件系统或者 ThinLUN 时可以指定 Grain 的大小 (4KB~64KB),即实现基于不同粒度的数据重删功能。

进行重复数据删除处理的流程如图。

image.png

  1. 存储系统按照块大小进行拆分。
  2. 存储系统会将新写入的数据块与旧的数据块通过指纹库进行对比,如果指纹不 同,当做是新数据块,写入。如果指纹不同: − 逐字节比较功能关闭(默认),存储系统会将旧有数据块直接指向新写入的数 据块存储位置,而不分配空间。 − 逐字节比较功能开启时,将之前写入的数据与当前的数据内容进行字节级比 较,如果完全相同,则认为是重复数据块。如果不同,当做是新数据块。 例如,文件系统中原有数据块为数据块 A 和数据块 B。应用服务器写入数据块 C 和数 据块 D,数据块 C 与数据块 B 指纹信息一致,数据块 D 与与原有数据块 A、B 的指纹 信息均不一致。采用不同的重复数据删除策略时,数据重删处理结果示意图如图。

image.png

在线压缩(SmartCompression)

业界一般的压缩做法有在线压缩以及后压缩。存储系统实现了在线压缩,对新写入的 数据在写盘前先进行压缩处理,再将压缩后的数据写盘,能有效的节省用户的空间。和后压缩(在数据下盘后再执行压缩)相比,在线压缩有以下优点:更小的初始存储空间,降低客户初始投资。更少的 I/O, 适合有读写寿命限制的 SSD 磁盘。在线压缩是在执行压缩后再打快照,能做到最大限度的节省存储空间。 存储系统在进行数据压缩处理时,会根据用户设定的压缩策略进行不同程度的压缩。 存储系统支持如下两种压缩策略:Fast策略:Fast策略是系统默认使用的压缩算法。该算法压缩速度快,但与 Deep 策略相比压缩后空间节省效率低一些。  Deep 策略:Deep 策略可以获得空间节省效率的明显提升,但压缩和解压需要花 费更长的时间。 数据压缩处理过程如图。

image.png

重删、压缩效果可叠加

SmartDedupe 和 SmartCompression 功能支持同时开启。当同时开启时,数据先经 过重删再执行压缩,可以实现缩减效果的叠加,可以为用户节省更多存储空间。

点赞富三代,评论帅一生,谢谢谢谢~

捕获.PNG