双重RAID分布式存储技术获得国家发明专利授权

道熵动态：

接国家知识产权局通知，道熵双重RAID分布式存储技术：基于存储池虚拟化管理的分布式存储系统及数据读写方法，于2023年1月20号获得国家发明专利授权。

随着数字化转型的深入，海量数据对存储提出了新的要求。传统磁盘阵列虽然技术成熟、性能良好、可用性高，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，市场上出现了分布式存储技术。

分布式存储系统，通常包括多个存储服务器（存储节点）以及多个客户端组成。其核心是将大量的数据或文件，通过随机算法（如CRUSH或HASH）均匀分布到多个存储服务器上。分布式存储有多种实现技术，如Ceph、GlusterFS、HDFS、GFS、Lizardfs、Swift等。超融合系统通常使用分布式存储系统作为其核心的存储系统。

Ceph是当前市场占有率最高的分布式存储 ，不仅占据Openstack后端存储60%市场，同时其市场份额在高性能科学计算、AI与大数据分析、医疗PACS系统、影像与视频存储等领域持续上升。毫不夸张地说，Ceph已经成为软件定义存储（SDS）的事实标准。

以Ceph为例，集群由多个存储节点构成，每个节点具有多个OSD（Object Storage Device），负责响应客户端IO请求保存及返回具体数据。每个OSD直接对应于该节点上的某个硬盘。Ceph中最常见的是三副本数据保护方式，即每个数据块需要分布保存在3个不同的OSD上；通过著名的CRUSH算法，在大规模集群下，实现数据的快速、准确存放，同时能够在硬件故障或扩展硬件设备时，做到尽可能小的数据迁移。其工作原理如下：当用户要将数据存储到集群时，数据先被分割成多个object，(每个object一个object id，大小可设置，默认是4MB），object是Ceph存储的最小存储单元。由于object的数量很多，为了有效减少了object到OSD的索引表、降低元数据的复杂度，使得写入和读取更加灵活，引入了PG(Placement Group )：PG用来管理object，每个object通过HASH，映射到某个PG中，一个PG可以包含多个object。PG再通过CRUSH计算，映射到OSD中。在三副本情况下，每个PG都会映射到三个OSD，保证了数据的冗余。

将OSD直接部署在物理硬盘带来以下几个问题：1）单个OSD（硬盘）上的工作负载呈现随机分布，当其中某些OSD工作负载比较大时，容易构成IO瓶颈；2）硬盘故障时，会导致OSD数据重建，对业务影响比较大；3）无法使用固态硬盘（SSD）对OSD进行加速。为了获得最佳IO性能，通常的做法是将3个副本都部署在SSD上，但缺点是由于SSD单位容量价格比机械硬盘（HDD）仍高出数倍。

针对现有技术中OSD直接部署在物理硬盘带来的问题，本发明目的在于提供一种新型的基于存储池虚拟化管理的分布式存储系统，通过将节点内的全部或部分磁盘进行池化与虚拟化管理，并与跨节点的RAID保护相结合实现两层数据保护，以虚拟卷为基础构建集群的OSD，即vOSD，使得vOSD上的工作负载均匀分布在支撑vOSD的存储池的所有磁盘上，有效避免OSD负载不均匀导致的IO瓶颈；进一步地，本发明提供一种上述存储系统的数据读写方法，以提升系统整体的IO性能，并节约成本。

本发明另一方面提供的所述基于存储池虚拟化管理的分布式存储系统的数据读写方法，包括：在写入用户数据时，将用户数据分割成多个对象块，每个对象块通过随机算法映射到某个PG中，PG通过设定的数据分布策略映射到OSD中，存在基于SSD的OSD时，配置基于SSD的OSD为主OSD，仅用于保存主PG的数据，配置vOSD成为从OSD，仅用于保存从PG的数据；每个对象块的主从两副本，分别保存在主OSD和从vOSD中；在读取用户数据时，优先从基于SSD的OSD中读出。

道熵双重RAID分布式存储架构，有效解决了Ceph中常见的业务卡顿、中断、以及个别慢盘拖累整个集群IOPS性能的问题，同时可准确检测并隔离各种硬件故障，大幅度降低了运维的复杂度，为用户的业务连续性与数据安全性提供更高级别的保障。

双重RAID分布式存储技术发明专利授权的获得，不仅标志着道熵存储核心技术再获国家权威机构的认可，同时也进一步证明，道熵的存储旗舰产品：瑞吉9000磁盘阵列、铁力士分布式存储与超融合系统，其具备显著的技术领先优势。