如何选择超融合（三）性能篇

2021-07-13 16:07

#Preface#

衡量超融合的性能，主要有两个指标，一个是虚拟机性能，关注虚拟机的计算处理能力，即虚拟机vCPU的处理能力，能达到裸机（Bare Metal）CPU性能的百分比。另一个指标是超融合的分布式存储IO能力，决定超融合能够承载的虚拟机个数，以及用户核心工作负载的能力。

虚拟机CPU与内存性能优化

主流虚拟化技术，以KVM 虚拟化和VMware ESXi 虚拟化为代表，均采用基于硬件辅助的虚拟化技术。

VMware作为服务器虚拟化的鼻祖，提供ESXi 虚拟机监控程序和vSphere虚拟化平台。vSphere通过ESXi作为安装到物理服务器裸机的虚拟机监控程序，可提升服务器的使用率和保障虚拟机高可用。而KVM是一种开源虚拟化技术，能将Linux内核转变成可以实现虚拟化的虚拟机监控程序，可替代VMware专有的虚拟化技术。

与KVM相比，ESXi在创建和启动虚拟机时通常耗时更久，在运行虚拟机时，ESXi的速度也要稍慢一些，尽管这种差异在运行常规负载时并不明显。在速度方面，SPECvirt_sc2013基准测试表明：KVM的应用运行速度更接近原生速度，比业界其他虚拟化监控程序都快。

国内主流的超融合厂家，如华为、深信服、道熵、Smartx等，都支持KVM虚拟化监控程序，可以比较好的替代VMware。值得指出的是，道熵铁力士超融合还在KVM基础上对虚拟机CPU性能进行了进一步优化，通过将虚拟机的vCPU绑定在某个物理CPU，或者通过NUMA节点绑定，以及IO线程与CPU绑定，以实现L1、L2、L3层缓存与CPU核之间的本地化而提升虚拟机的性能。这种高性能的虚拟机，与桌面虚拟机、服务器虚拟机相比，具有更接近物理裸机的性能，可达裸机性能的95%-98%，非常适合数据库、高性能计算、大数据分析等工作负载的虚拟化场景。

分布式存储性能优化

#1 超融合中的分布式存储

超融合通过分布式存储为虚拟机承载的用户工作负载提供存储容量和IO性能。常用的存储介质是大容量机械硬盘（HDD）和高IO性能的固态硬盘（SSD）。虽然SSD的IO性能是HDD的数十倍甚至上百倍，但其单位存储容量的SSD的价格仍然是HDD的5到10倍，因此，当前主流超融合使用的分布式存储依然是以HDD为主，并使用SSD作为缓存加速。

#2 分布式存储的技术路线

市场上常见的分布式存储，通常采用基于网络的随机分布三副本机制，即数据块的写操作需要同时在三个节点上的三个HDD上完成才算成功。

三副本机制虽然具有分布式带来的扩展方便的优点，但在IO性能上有以下两个弊端：

1、由于数据的随机分布特性，每个HDD上的IO工作负载必然呈现非均匀分布，部分HDD上的IO请求远超平均值，导致IO阻塞现象，拖累整个系统的IO性能。

2、三副本机制下，每个写操作需要完成三次网络来回通信，其延迟拖累了IO性能。

与随机分布三副本机制不同，道熵铁力士超融合采用双重RAID机制，即每个节点通过具有RAID功能的存储虚拟化技术，将节点上所有磁盘整合为一个统一的存储池，这样该节点上的IO负载不会在单个HDD上形成瓶颈，而是均匀地分布在所有磁盘上。

同时，由于节点内存在RAID保护功能，节点间的网络数据保护从三副本更改为两副本，每个写操作仅需要完成两次网络来回通信，比三副本节省了50%网络延迟开销。

#3 道熵铁力士超融合的技术突破

随机写转顺序写

道熵铁力士超融合在分布式存储上的一个重大技术突破，在于实现了随机写转变为顺序写的功能。

众所周知，HDD的短板在于其非常有限的随机小块数据的读写次数，即IOPS通常小于120，但其大块数据顺序写的性能则高出很多。道熵在节点的存储虚拟化技术中，引入了随机写转换为顺序写的工作机制，每次数据写入时，不是按常规的固定地址写入数据，而是动态地给数据分配连续的地址，产生顺序写的效果，并用SSD管理动态分配地址的元数据，从而将随机写的性能提升3到5倍。

自适应缓存技术

道熵铁力士超融合在分布式存储性能上的另一个技术突破，就是其独特的智能自适应缓存技术。

在每个节点上，智能管理DRAM和SSD二级缓存，通过自适应算法，将最热的数据（最近读取的数据和高频率数据）保持在DRAM中，而将次热的数据保持在大容量SSD中，给该节点上的整个存储池实现缓存加速。由于该算法能自动适应工作负载的变化，因此在超融合系统中形成了一个容量巨大的DRAM+SSD分布式缓存加速层，可有效将Cache命中率从常见的60%提升到90%以上，相当于IO性能提升4倍。

道熵铁力士超融合还实现了读、写缓存分离技术，这样可采用傲腾、NVMe SSD等延迟低、性能高、但比较昂贵的SSD做为高速写缓存，而采用性价比高的SSD作为大容量读缓存，可有效节约硬件成本，并获得接近全SSD存储的IO性能。

总结：

■ 超融合的性能主要取决于虚拟机CPU与内存性能，以及更关键的分布式存储的IO性能。

■ 道熵铁力士超融合对KVM的虚拟机性能实行针对性优化，其上的高性能虚拟机可达裸机CPU性能的95%-98%。

■ 在分布式存储方面，道熵铁力士超融合采用了双重RAID技术、随机写转换为顺序写、智能二级分布式缓存等先进技术，与常见的三副本分布式存储相比，IO性能可提升5到10倍，可大幅度提升超融合系统的整体性能；在同等硬盘配置条件下，道熵超融合可承载的综合业务负载可高达同类超融合产品的3到5倍。