阵列型分布式存储,未来已来

2021-12-01 14:53

前言:     

随着国家数字化转型战略深入推进, 云计算、大数据、人工智能等新技术与业务场景加速融合,使得数据量呈现指数级增长。面对以文档、视频、图像为代表的海量非结构化数据,分布式存储因其具有横向扩展能力,通过增加存储节点,同时提升存储性能与容量,成为海量非结构数据存储最佳选择。

然而,与传统磁盘阵列相比,分布式存储在稳定性、性能、运维等方面仍存在诸多缺陷。


三副本存储的缺陷


普通的分布式存储通常采用网络副本冗余方法,即三副本以实现数据保护;每个数据块在不同存储节点上保存3个副本,依照一致性哈希算法,将各个副本随机分布在不同节点、不同磁盘中,以实现数据自动平衡和横向扩展。


数据丢失隐患


根据著名的CAP定理,当分布式系统出现网络问题,人们只能在数据的一致性与可用性之间二选一,而无法同时兼顾。


111.png

这意味着,在三副本分布式存储中,当遭遇网络故障时,如果不及时中断业务,就无法始终保证数据副本完全一致。因此,当网络不稳定时,三副本将不可避免地降级为两副本甚至单副本,一旦出现系统掉电或一个或多个硬盘损坏,很可能造成严重的数据丢失现象。


性能瓶颈


三副本分布式存储还存在明显的性能瓶颈,由于工作负载在各个磁盘上的非均匀分布,导致某些磁盘上负载远远高于平均值,导致整个集群IO性能下降,甚至稳定性问题。


双重RAID分布式存储的特点


双重RAID作为南京道熵出品的新一代阵列型分布式存储基础架构,将磁盘阵列技术与分布式技术相融合,不仅具备磁盘阵列高稳定与高性能的优势,同时融合了分布式存储的持续扩展能力,可通过增加节点以替换老旧节点。


更强的安全保障


双重RAID由节点内RAID与节点间网络RAID实现双重数据保护,即使在网络不稳定,网络副本暂时失去保护能力时,节点内RAID仍然能够抵御系统掉电或磁盘损坏等故障,保证数据安全。


更强的容错能力


三副本最多能抵御来自不同节点上两个硬盘同时损坏;而双重RAID,可同时抵御每个节点上一个或多个硬盘损坏。三副本分布式存储,随着系统规模的扩大,数据可靠性明显降低;而双重RAID, 其数据可靠性随着节点数增加仍然保持在很高的水平。


更高的IO性能


在每个节点内,通过RAID数据保护、资源池化管理、随机写转化顺序写、DRAM/SSD二级缓存加速、数据自我修护等技术,实现各个节点独立的存储虚拟化、IO性能加速、工作负载自动均衡、以及故障自动检测与自修复等功能。与普通三副本分布式存储相比,双重RAID总体IOPS性能可提升3到5倍。


更强的自动化运维能力


由于双重RAID具有比三副本更强的容错能力,当硬件出现故障时,可采取更灵活、更可靠的自动化与智能维修策略,比如延迟修复、或降低数据恢复所占系统资源,不仅可保证用户业务连续性,同时使存储系统运维更智能、更便捷。


支持国产化


双重RAID还广泛运行在申威、飞腾、鲲鹏、海光等国产CPU与服务器平台,支持统信UOS、麒麟等等国产操作系统。双重RAID信创分布式存储主要应用于中高端磁盘阵列无缝替换、 IT基础设施云化、以及海量非结构化大数据处理,逐步成为保障国家数据安全、推动数字化产业升级的主力军。