【存储】RAID 2.0技术探索

存储RAID——RAID2.0+技术(块虚拟化与LUN虚拟化) 由Extent组成的LUN不支持精简置备-----精简置备(即用多少给多少,类似VM分给虚拟机的内存一样);将Extent切为密度更小的Grain组成LUN,此由Grain组成的LUN更为精简LUN,支持精简置备(SmartThin)当RAID组中有坏盘,这个时候热备盘就可以去顶替RAID组中所坏掉的那块盘,加入到RAID组中,并进行数据重构。逻辑块组(RAID组,确认RAID级别),由CK组成(每个CK都来自不同的硬盘)将硬盘划分为若干个相同大小的CK,其中一CK做热备块,其余的CK做数据块。 阅读详情


前言

提到RAID,大家可能会先想到RAID5、RAID6,不过今天不讲这些,讲讲做RAID以后数据最终是如何存放在硬盘上的。为啥要讲这个?难道你就不好奇存储设备在进行RAID的时候为啥要限制磁盘数量,是依据什么限制的,同时在进行存储设备选择的时候应该考虑哪些参数,优先级如何等等


说明

  • 说明1:做RAID就是把多个独立的物理磁盘组合成一个逻辑磁盘(逻辑磁盘还是磁盘),目的是提高总体的IO性能和冗余度
  • 说明2:RAID1.0和RAID2.0是RAID技术底层数据排布方式的迭代,其上的RAID逻辑并无变化,所以RAID5还是需要1块校验盘,RAID6还是需要2块校验盘
  • 说明3:RAID不能和LUN画等号。RAID 是物理层的组合,负责数据保护和性能优化;LUN 是逻辑层的划分,负责主机访问和映射。LUN基于RAID组创建,但LUN的管理独立于物理硬盘的物理限制;一个RAID组可能包含多个LUN,每个LUN可以独立映射给主机

1、分条与条带

为啥先讲这个,因为分不清分条和条带,就不能真正理解RAID1.0和RAID2.0的区别以及这么设计的原因。

1.1、关键概念澄清:

  • 条带大小(Stripe Size) :每个磁盘上写入的数据块大小(条带是RAID中处理数据的基本单元)
  • 分条宽度(Stripe Width) :并行写入的磁盘数量
  • 分条大小(Stripe Size) :整个条带的总大小,计算公式如下:
    分条大小( S t r i p e   S i z e ) = 分条宽度( S t r i p e   W i d t h ) × 条带大小( S t r i p   S i z e ) 分条大小(Stripe\ Size)=分条宽度(Stripe \ Width)\times 条带大小(Strip \ Size) 分条大小(Stripe Size)=分条宽度(Stripe Width)×条带大小(Strip Size)

在这里插入图片描述

1.2、关键概念说明

  • 条带(strip)在存储技术中,指硬盘中单个或多个连续扇区构成的数据单元,是组成分条的基本元素;此时也可以叫做硬盘的条带大小

  • 分条(stripe)指同一硬盘阵列中多个硬盘驱动器上相同位置的条带集合,是数据分布存储的基本单位,当然,也可以叫做硬盘组条带大小,这个叫法是不是更贴切;

  • 存储中条带的英文是 strip,分条的英文是 stripe,两者在存储技术中分别对应数据组织的基本单元和分布单位,分条的概念很容易和条带混淆,中文语境中经常被混在一起,导致很多人搞不明白其中关系

  • 多个磁盘的条带组成一个分条,可以理解成4D+1P是5个磁盘上的五个条带组成的一根分条,数据在读写的时候是按照分条(stripe) 为单位进行读写的
    例:当组建RAID时条带大小为4KiB,磁盘为5块,分条大小就是20KiB。
    也就是说,当写入一个数据时,如果这个数据大于20KiB,如写入5MiB的数据,那将会分布在5个磁盘上,每个占1MiB;而当写入的数据小于20KiB,任然会分成5分分布在各个磁盘中,并且都会使用掉4KiB的空间(因为条带是RAID中处理数据的基本单元)

  • 4K对齐
    4K对齐是指将磁盘分区的起始位置对齐到4K扇区(4096字节),以避免数据跨扇区写入导致的性能问题,其主要目的是优化单个磁盘的读写效率,减少数据跨扇区操作带来的性能损耗;SSD磁盘做4K对齐是为了兼容老系统和软件;4K对齐和条带设置没有直接关系,但是协同设置能够更好的发挥存储的性能


2、 RAID1.0的缺陷

2.1、重构效率低

RAID1.0在硬盘故障时,重构过程耗时且效率低下,原因很简单,以RAID5举例,重构硬盘无非就是依靠校验码把损坏的硬盘数据算出来。那为啥会这么慢呢?

根本原因有两点:
第一是RAID10.毫不关心条带是否已经被分配给逻辑卷,RAID1.0做恢复时需要恢复的垃圾数据太多了。如图所示,P是奇偶校验块,绿色h和蓝色的分条表示已经划分了LUN并映射给服务器使用,是有效数据,而灰色的分条和条带则是对我们无用的数据,但当我们进行数据恢复时,还是必须连无用数据(占了5分之3)一起恢复,这会大大增加恢复时间(如图中所示,其实我们想要恢复的数据只占5分之2)
第二是RAID1.0中,当做RAID5的数据恢复时,是以磁盘为单位进行恢复的,这就导致恢复时的IO受到单块磁盘IO的限制(其他盘再快也没用,数据写不进热备盘里)
在这里插入图片描述

2.2、资源管理与扩展性不足

RAID1.0的固定管理模式(如固定RAID组)难以适应大规模存储需求,且资源利用率低。RAID2.0通过虚拟化技术(如两层虚拟化管理模式)将存储资源池化,支持动态扩展和自动分层存储(如SSD/HDD混合使用),提升了资源利用率和灵活性

2.3 、数据可靠性与性能优化需求

RAID1.0在大容量硬盘环境下,重构过程中易因新故障导致数据丢失,且性能瓶颈明显(如热点效应)。RAID2.0通过数据分块(Chunk)和自动负载均衡技术,优化了数据分布和重构策略,降低了故障风险并提升了性能

热点效应的成因与影响
1、性能瓶颈:热点效应会导致部分磁盘负载过高,影响整体I/O性能。例如,当热点磁盘频繁读写时,其他磁盘可能因负载不足而闲置,导致整体性能下降。
2、数据丢失风险:在重构过程中,热点磁盘的频繁操作可能增加故障概率,进一步加剧数据丢失风险。例如,提到,重构时间延长和热点3磁盘的频繁操作可能增加数据丢失风险。
3、大容量环境下的挑战:在大容量硬盘环境下,热点效应更显著,因为重构时间延长(如单盘容量达10TB时,重构时间可能数倍增加),热点磁盘的负载压力更大


3、RAID2.0的核心变化

  • 在RAID1.0中,条带是与物理磁盘绑定的(因为条带是同一磁盘阵列中多个磁盘驱动器上相同位置的分块),而RAID2.0中,条带不与磁盘绑定,是“浮动”于磁盘之上的。也就是同样一个条带,比如如下图所示:“D1+D2+D3+D4+P”是一个由3个DataSegment和1个Parity Segment组成。
  • 在RAID1.0时,需要使用5块盘来承载这个条带。为什么?因为在此时没有人以条带为中心考虑RAID,都是以磁盘为中心,各种东西都需要绑定在盘上才能使用,盘坏了就必须一整块盘的进行重新构建。
  • 而在RAID2.0时,大家以条带为中心进行设计,如下图所示,条带不在需要绑定在物理磁盘的特定位置,而是浮于磁盘表面了(可以理解成条带和磁盘解耦合了,有点像大家常说的软硬件解耦),而且都浮于表面了,自然也能“漫游(到处乱跑)”。
    在这里插入图片描述不过需要注意的是,即使是RAID2.0,其上层也和原来是一样的,比如一堆数据块组合成各个磁盘的条带,各个磁盘的条带又组合成分条,依然是由n个分条拼接成的逻辑空间LUN,而且和RAID1.0时一样,在新建一个逻辑卷时,系统也是尽量把组成这个逻辑卷的条带按照RAID1.0时候一样,顺序的放在磁盘上。只不过在进行数据重建时,才会采用见缝插针的方式进行数据恢复,也就是说数据恢复时我们可以利用RAID组内所有剩余空间(如图中灰色部分)进行数据恢复,这也就使得RAID2.0的数据恢复速度大大提升(因为不需要特定的热备盘,只需要热备空间,这就使得数据恢复时不受单独磁盘IO的限制,而且恢复时也只需恢复有效数据,如上图中的蓝色和绿色数据)。

例:当使用RAID2.0组成一个RAID5的组,此时有1块磁盘损坏了,我们要使用热备盘(热备空间)恢复数据,这块盘上原有的非垃圾数据块(如上图中的绿色和蓝色数据)需要被重构到热备块中去,此时系统会仅仅读出受影响条带的内容然后计算出待重构块,然后写入到与本条带其他块不共享的任意一块盘上去
注:需要提一点的是,对与RAID2.0,算法要确保同一块盘上存在同一个条带的校验块不能超过1个(单P校验,双P校验不能超过2个,如RAID6)


4、RAID2.0的不足与应对措施

为了实现条带与磁盘的解耦,我们将条带碎片化,同时因为RAID2.0上数据块组成条带时可以被放置在任意位置,这就导致我们必须想办法追踪这些数据块的实际物理位置(比如链表),但是此时映射关系不能再像RAID1.0那样通过套用某函数公式就可以简单的得出物理地址,而是必须查表,每一次IO都必须查表。同时因为表太大,无法完全缓存到内存中,只能像文件系统一样现用现缓存,这就使得原本每IO的映射消耗的算力极大的提升。
不过虽然RAID2.0会导致IO性能下降,但这种下降只是相对的下降,我们可以通过提升
CPU性能和内存来弥补(这也是为什么现在的存储CPU越配越好,内存越配越大)

存储关键技术·RAID技术·RAID2.0·华为RAID2.0+·华为服务器·云计算 一.RAID基本概念 常见的RAID级别组合RAID级别 二.RAID的数据组织形式 三.RAID的数据保护功能 方法一:镜像方法二:奇偶校验算法(XOR) 四.RAID热备和重构 1.热备(Hot Spare)的定义2.热备的分类3.热备的工作原理 五.RAID 2.0技术 1.RAID 2.02.RAID 2.0+3.华为RAID 2.0+ 六.RAID 2.0+块虚拟化技术 1.什么会出现RAID 2.0+技术?2.什么是RAID 2.0?3.RAID 2.0+的原理是什么? 阅读详情

相关推荐

【存储】RAID2.0+、多路径技术、磁盘可靠性技术

RAID2.0+

Hanrui的博客 2346

文件系统学习 RAID原理学习 RAID0 RAID1 RAID2 RAID3 RAID4 RAID5 RAID6 RAID10

RAID,全称为redundant array of independent disks,是目前商用服务器常见的磁盘管理技术 RAID的作用数据冗余性能提升,各级RAID的基本原理

喵呜 3742

【存储】Raid系列技术详解

raid技术

晓峰博客笔记 3588

完全图解RAID存储技术:RAID 0、1、5、6、10、50、60

独立磁盘冗余阵列(RAID)是一种存储技术,通过将两个或多个硬盘驱动器(HDD)或固态硬盘(SSD)合并成一个协调的存储单元或阵列,从而创建数据丢失的故障安全机制。RAID存储通过将数据重复或重新创建,并将其存储在附加的驱动器上来防止磁盘驱动器数据的完全丢失,这个过程也被称为数据冗余。提供数据丢失保护的配置被称为“容错”配置,这意味着即使磁盘驱动器发生故障,阵列仍然可以成功运行并提供可恢复的数据。

m0_52514790的博客 2757

RAID 2.0与RAID 1.0对比

当需要扩容LUN时,只需输入想要扩容的LUN大小,系统会自动从存储池中划分所需的空间,并自动调整LUN的数据分布,使得LUN数据更加均衡的分布到所有的硬盘上。在作用的范围上是不同的。在RAID2.0的重构中,由于热备空间是分散在多个盘上的,故障盘上的数据可以重构到多个盘上,避免了对单热备盘的写瓶颈,因此重构速度很快。另外,RAID2.0的重估是按Chunk重构的,重构时只重构LUN中分配了业务数据的Chunk,比传统RAID需要重构所有LUN空间的方式,减少了不必要的重构读写,也能提高整体重构速度。

ducanwang的博客 1643

RAID 2.0+ 技术

Raid 2.0+实现原理 RAID 2.0+的优势

IPOPC 1550

软考——RAID技术及网络存储技术知识小结

如上图所示的存储系统由 9 块 4TB 的磁盘组成一个 RAID5 级别的 RAID 组, 并配置 1 块全局热备盘, 则该存储系统最多可坏掉 ?块磁盘而不丢失数据? 实际可用存量为 ? TB(每块磁盘的实际可用容量按照 4TB 计算) 该存储域网络为 ? 网络 (2019年网工下午题第二题) 首先我们粗略的了解下RAID技术 RAID为Redundant Arrays of In...

zhang175gl的博客 2540

【实战学习(五)】开源项目学习之uWSGI的部署以及配合nginx

文章目录1)uWSGI是什么?1.1 WSGI1.1.1 Application端1.1.2 Server端1.1.3 WSGI中间件1.2 uwgi1.3 uWSGI、WSGI、uwsgi之间的关系*为什么有了uWSGI为什么还需要nginx?2)连接uwsgi和Django*避坑之Windows10安装uWSGI非常极其艰难,最好勿浪费时间,直接转战Linux吧:2.1 uWGI部署2.1.1 在虚拟环境下安装uwsgi:2.1.2 测试uWSGI的运行2.1.3 使用uWSGI运行Django项目2.

黑黑白白君的博客 1512

树莓派Bookworm系统避坑指南:3种方法解决pip install报错externally-managed-environment

本文详细解析树莓派Bookworm系统中pip install报错externally-managed-environment的成因,并提供三种实用解决方案:使用虚拟环境(venv)隔离项目依赖、通过pipx管理全局Python工具,以及理解风险后的系统安装方法。帮助开发者安全高效地管理Python环境,避免系统冲突。

android的专栏 768

利用ORCAD/pspice 仿真分析电路的幅度相位谱

利用ORCAD的pspice仿真分析电路的相位谱1.介绍2.搭建电路原理图3.建立仿真文件,进行交流分析4.仿真、查看输出5.总结 1.介绍 orcad配合pspice一直是电路原理图绘制和仿真的主要工具,pspice工具提供了诸如暂态分析、直流分析、交流分析等多个工具。学校主要教的是multisim,对orcad讲得很少,最进要利用orcad对运放构成的电路的频响、相移特性进行分析,发现资料幅度...

qq_40011737的博客 1万+

DeepMD-kit描述子机制解析:从原子坐标到不变性特征

本文深入解析DeepMD-kit描述子机制,详细阐述如何将原子坐标转换为具有平移、旋转和排列不变性的特征表示。探讨了se_e2_a、se_e3等不同描述子的适用场景及性能优化技巧,帮助读者掌握这一关键技术在分子模拟中的应用实践。

weixin_42520661的博客 340

PCB过孔电流承载解析:完整指南与数据参考

深入解析PCB过孔的电流承载能力,结合实际应用场景提供可靠设计参考。涵盖影响载流的关键因素,并整理实用的pcb过孔与电流对照一览表,帮助工程师优化布局与布线。

weixin_35677363的博客 635

海康VisionMaster与西门子Smart 200进行S7通信

海康VisionMaster与西门子Smart 200进行S7通信

haier123888的博客 8192

《使用R包ggtree进行进化树的绘制与美化》

都2023年了,才去使用Y叔早在2018年发表的进化树构建利器——ggtree。刚好最近在做基因家族分析,进化树的构建与美化确实有点麻烦,先前使用MEGA11进行了绘制,但图像简陋,于是导出了nwk文件,准备使用其他软件进行美化。这里,我使用ggtree包进行操作。

沉香best的博客 6899

SDN — EVPN Overlay 控制面

完成控制面的配置后,当 VxLAN L2 Gateway(e.g. Leaf1)再收到从 Host1 向 Host2 发出的 ARP Request 时,就会先查看自己的 ARP 广播抑制表,发现有 Host2 的 MAC-IP 记录,则直接将 ARP Request 报文中的广播 MAC 地址替换为目的单播 MAC 地址(广播变单播),然后原路 Reply,从而达到 ARP 广播抑制的目的。手动配置的方式虽然简单,但网络中会存在大量的 BUM 洪泛流量,网络扩展性也受到了限制,并不适用于大规模组网场景。

烟云的计算 1861

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

上一篇: 【虚拟化】磁盘置备方式的性能损耗对比
下一篇: 【BIOS/UEFI 与 MBR/GPT 的区别详解】
神.秘.人
博客等级 码龄11年 594粉丝 75原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值