为什么道熵分布式存储是视频编辑与媒资存储的更佳选择？

广泛应用于电视台、大型影视中心等广电企业的视频编辑与媒资存储，当前主要采用传统的集中式存储，如SAN或NAS存储，用来支持媒资共享、高速渲染合成、媒资归档、媒资数据容灾备份等应用，其主要弊端体现在以下几个方面：

一、在制作时对实时性能要求高的场景中，传统集中式存储普遍呈现出性能不足的缺点；

二、性能与容量无法随着存储需求的增加而扩展；

三、大量内容需要长期归档，而传统集中式存储普遍价格昂贵。

集中式存储以磁盘阵列为代表，最主要的技术特征是RAID，即Redundant Arrays of Independent Disks，通过多个独立磁盘构成的具有冗余能力的阵列来实现数据保护。传统的RAID磁盘阵列，采用冗余的硬件控制器架构，具有延迟小、性能高、稳定性好的特点，但扩展能力差；当硬件逼近生命期限时，需要更换全套设备并迁移数据，导致管理复杂，成本偏高。

分布式存储采用具有本地存储资源的标准服务器硬件，通过高速网络连接，使用分布式软件聚合多个物理机上的存储空间并对外提供具有大带宽、并行 I/O、水平扩展、容错以及强一致性的数据存储系统。

典型的分布式存储具有三大技术特征：

一、通用x86或ARM存储服务器；

二、使用固体硬盘（SSD）以提升IO性能；

三、软件定义存储（SDS），即采用分布式多副本/纠删码技术，实现数据保护、资源智能调配、自动化运维和监控等功能，实现存储资源的抽象、池化和自动化管理。

其优势在于可降低总拥有成本、提高性能和 IT 团队的效率。分布式存储虽然具备较强的扩展能力，可方便地进行在线扩展或更换存储节点。但分布式存储存在延迟较大、性能较差、稳定性不够好的缺陷。

分布式存储与集中式共享存储（也称磁盘阵列），各自存在因自身架构导致的弊端。如何将分布式存储与磁盘阵列的优点进行融合，是存储领域的重要课题之一。

道熵的铁力士分布式存储采用了双重RAID架构，即节点内RAID与节点间网络RAID相结合的架构，将磁盘阵列的本地恢复特性与分布式存储的扩展特性进行融合，使其既拥有磁盘阵列高可靠、高容错的特点，又同时具备分布式存储横向扩展的优势，满足用户数字化与智能化业务对IT能力的持续增长的需求。

视频编辑与媒资业务系统对连续性有极高要求，需要提供 7*24 的不间断服务，而数据中心一直面临着各种风险和挑战，包括停电、网络故障、硬件故障等问题，都有可能影响业务的连续性。

道熵分布式存储采用双重RAID架构，采用节点内RAID数据保护与节点间副本保护相结合的方式。每个节点采用RAID10或RAID50/60 实现节点内的本地数据保护、硬件故障隔离与本地数据修复。每个节点相当于一个小型的“磁盘阵列”，可抵御节点内单个、甚至多个硬盘故障。这些“磁盘阵列”，通过网络连接与分布式副本技术管理，形成一个可扩展的分布式磁盘阵列，可保证在极端情况下，即当故障突破单台磁盘阵列的保护能力时，还可利用网络副本技术来恢复节点数据。正因为这种双重RAID保护机制，当节点硬件出现故障时，可以通过本地RAID对故障进行隔离，不影响业务正常运行。故障修复可以采用延迟修复的策略，自动避让业务，即当业务繁忙时，数据修复速度减慢；当业务空闲时，数据修复速度可以适当加快。

业务更敏捷、资源交付更弹性是道熵分布式存储的显著优势之一。用户可通过Openstack、VMware虚拟化平台，K8s容器或物理机，迅捷上线业务，提高资源利用率。通过Web管理界面，将集群所有CPU、内存、网络、及存储等资源进行统一纳管，建立统一资源池，实现更灵活的资源划分与交付；上述资源具备“弹性伸缩”特性，可对资源进行生命周期管理，既可迅速扩展资源规模，也可及时回收“闲置”资源进行重新分配。

随着承载业务的增多，要满足媒资数据进行并发性实时读写或者在线非编需求，就要求存储系统具有高速读写IO能力及带宽，道熵分布式存储核心技术“SVM存储节点虚拟化技术”，使用NLSAS HDD即可保证单节点数据传输最高带宽可达2GB/s的读与1.5GB/s的写，单集群系统读性能可达上百GB/s，并且随着节点数量的增加实现性能与容量同步线性增长，从而使广电用户的业务顺畅运行。同时，道熵分布式存储具有数据自动均衡的特性，让媒资数据平均分配在系统中的各个节点。当多个节点并发访问，系统将通过并行处理的方式分担各节点数据处理量，有效提升访问效率，为在线非编带来高速存储的极致体验。

道熵分布式存储采用分布式二级缓存加速技术，实现性能加速。一级缓存为延迟低的DRAM，二级缓存为大容量固态硬盘，最热的数据保存在一级缓存中，次热的数据保存在二级缓存中。采用自适应算法管理缓存中的数据，能自动适应复杂业务工作流的变化，智能识别业务中最近使用的数据和频繁使用的数据，将其保存在缓存中。每个节点可单独增加一级缓存容量和二级缓存容量，也可通过增加节点来增加总缓存容量。铁力士分布式存储管理的总缓存容量可高达数百TB，是名副其实的分布式存储“缓存之王”，能满足用户对存储性能弹性、可扩展的需求。

基于双重RAID架构的铁力士分布式存储平台，具备磁盘阵列的高稳定、高性能，以及分布式存储的弹性和高扩展性，可作为企事业单位替代传统磁盘阵列的统一数据存储平台。铁力士分布式存储支持几乎所有的主流存储协议和接口，包含FC、iSCSI/iSER、NFS、Samba、Openstack Cinder、VMware VAAI、K8s CSI、S3、FTP、SFTP等，以及大数据接口HDFS、高性能计算BeeGFS、并行文件系统CephFS等。

道熵分布式存储具备内置的定时备份功能，可对虚拟卷实现全量备份和持续增量备份，并支持备份数据压缩、去重以及数据加密。备份数据可保持在本地或异地的NFS存储中，同时支持备份数据保持在支持S3存储接口的公有云或私有云中。

道熵分布式存储支持伸展集群（Stretched Cluster）部署，即同城双活数据中心：将数据从一个数据中心（站点）扩展到两个数据中心（站点），以实现更高的可用性和容灾恢复。伸展集群通常部署在同一城市或园区之内，两个数据中心之间的距离通常不超过100公里，且有专用(或租用)的高速低延迟通信线路相连接。伸展集群可实现站点维护计划以及满足容灾需求，其中一个站点的维护或意外丢失，无论是通信故障、意外掉电、火灾还是其他灾害，不会影响集群的整体运行。在伸展集群配置中，两个数据站点都是活动站点，同时提供存储服务。如果其中一个站点发生故障，存储服务将自动切换到另一个站点。

当数据中心之间的物理距离达到100公里及以上时，道熵分布式存储支持两地或多站点之间，通过异步复制技术手段实现远程容灾与恢复。其原理非常类似数据库如PostgreSQL或Mysql的主从同步机制，基于日志回放(replay)实现本地站点和远端站点数据同步。基于异步复制的远程容灾与恢复方法，可实现RTO < 数分钟，RPO 约等于零的容灾保护级别。

道熵分布式存储还具备存储虚拟化网关功能，可针对异构存储系统实现统一数据管理与容灾备份管理，并可实现连续数据保护功能。

在分布式存储的演进过程中，系统中可能会同时存在新增硬件和老旧硬件，而老旧硬件的故障率通常远高于新增硬件，这对分布式存储的数据可靠性提出了更高的要求，即要求分布式存储具有更强的抵御硬件故障的能力。而常见的三副本分布式存储，在存储规模稍大，存在硬件老化现象的情况下，系统同时出现两个或以上硬盘故障的概率不可忽视，就可能导致系统崩溃或数据丢失。

而在双重RAID架构中，由于每个节点都具有本地RAID数据保护，可容忍的故障硬盘数目随节点增加而增加，可持续对硬件生命周期进行有效管理。当系统需要扩容时，可以在不停止业务的前提下，通过增加节点给存储增加CPU计算能力、内存、SSD、机械硬盘、以及网络资源，且能够实现数据自动迁移与平衡。同时，系统可以在线对故障硬件或老化硬件进行更换，甚至剔除整个节点。通过持续增加新硬件，剔除故障或老旧硬件，从而提高硬件的生命周期，有效降低硬件采购成本。

在传统集中式存储架构下，随着 IT 规模增大，数据中心将引入更多不同的设备或技术，这无疑增大了运维的复杂性，使得企业的 IT 人员经常上演“消防员”角色，但即便是这样也难以达到“不间断”运行的目标。

道熵分布式存储的节点内RAID功能，通过功能强大的存储虚拟化管理（Storge Virtualization Manager，SVM）来实现数据保护。SVM不仅实现了RAID10/50/60等RAID功能，而且具备池化管理和IO负载均衡能力，使IO工作负载均匀分布在节点内所有磁盘上。SVM具备在线数据完整性校验和数据自修复功能，对硬件故障进行在线监测和有效隔离，即使在硬件老化时仍然能保证数据安全；功能强大的Web管理页面具有专门的自动化故障诊断模块，通过图形可视化收功能实现监控各种运行状态，包括CPU、内存、网络、IOPS与带宽指标，同时具备对磁盘监控状态、网络、电源、主板等硬件的故障监控、报警、及自动化诊断功能，使得整个系统的运维与管理变得简洁直观。

道熵分布式存储不仅提供了高性能、大容量及良好的扩展性，优于同类产品的高效性能和系统稳定性，同时还提供了极高的数据安全以及控制良好的TCO成本。从根本上解决素材资料共享、高清化编辑中后端存储带宽不足、容量扩展性不强以及建设维护成本偏高的核心问题。道熵分布式存储可广泛适用于电视台、大型影视中心等广电企业，支持媒资共享、高速渲染合成、媒资归档、媒资数据容灾备份等应用。