“一个PCIe闪存卡测试引起的思考”

本篇文章5634字，读完约14分钟

基于闪存( flash )技术的固态磁盘) ssd )在存储市场上成为热门话题，但是在中国以前流传的公司客户中，也必须面对“点赞”的不自然。 当然原因有很多，但其中最重要的还是同样的容量，比硬盘贵很多。 再加上中国以前流传下来的公司客户一般都是“害羞”的，所以分享固态硬盘的招聘心得的多是互联网公司，大型的以前流传下来的公司很少见。

本文通过对memblaze q520h型pcie接口固态驱动器和emc cx3-20型san以前提供的磁盘存储阵列的测试，将pcie接口固态驱动器与存储介质

编辑注: q520h是国内第一家公司membalze企业上一代的产品，cx3-20还需要早上四五年。 在希望超过三三十年的it领域，相差四五年的产品竞争，很快就会赶上“关公战秦琼”……但是，这可能发生在客户考虑系统升级方案的时候。 这类产品类别之间“不对称”的另一个前提是，客户希望提高独立数据库的性能。 当共享存储和基于san的高级软件功能不可缺少时，全闪存阵列或混合阵列是理想的选择。

一、测试设备

在一台服务器上安装了q520h型pcie接口固态驱动器和emc cx3-20型san，以前将其传输到磁盘存储阵列，并测试了各自存储设备的指标。 其中，

1 .服务器型号为dell r900；

2、服务器配置:英特尔至强e 7320 4个cpu，主频2.13ghz； 内存64gb，4个pcie x8接口

3.SSD加速器卡型号:插入memblaze q520h型pcie接口固态硬盘、pcie x8接口；

4 .存储阵列型号:包括5个光纤接口硬盘raid 5模式的4gb光纤通道emc cx3-20存储阵列；

5 .配置软件: windows 2008服务器64位操作系统、sql server 2008 64位数据库

编辑注意:正如作者所述，包括服务器、存储阵列、操作系统和数据库软件在内的整个现有方案都是在2008年部署的。 那款时尚主打的r900还提供了pci express 1.1插槽，但去年基于至强E5平台的服务器达到了pci express 3.0，只用了4年就换了2代。 真有隔世之感……

这样的旧平台对q520来说不是大问题。 采用pci express 1.1 x8接口，与服务器完全匹配，单向带宽为2gb/s秒。

真正旧的状态是cx3-20。 emc在2006年宣布，作为CLARiiON CX 3中端存储系列的成员，cx3-20最多支持120个fc驱动器、4-12个4GB/秒fc主机端口，但支持4GB/秒fc磁盘端口

那么，这是不公平的对决吗？

支持120个硬盘是为了提高iops，请参考emc pdf数据

只需升级存储，就能让旧服务器恢复活力吗？ 服务器的cpu还没有遇到瓶颈，建议测量cpu利用率吗？ 但是，确实不需要更换hba

二、测试方法

用crystaldiskmark3_64位软件分别测试连续读写、随机读写、两种模式下的传输速率，测试5次，取平均值，推算iops，另外还测试hd_tune_pro 对sql server2008数据库进行了实际的招聘测试。

为了消除操作系统缓存的干扰，测试关闭了操作系统的写缓存功能。

编辑注:这个测试最有争议的部分来了。 那是测试软件的选择。 虽然crystaldiskmark和hd tune pro都用于测量ssd等成本较高的设备，但如何测量这些公司级的存储产品呢？

这几个我基本上同意，但我不赞成采取全盘否定的态度。 在这里，我们先从技术上不太“严密”开始探讨吧。 从文末说起我的意见，也值得刊登正文。

另一方面，从原理上讲，存储产品测试与公司级产品、成本级产品、磁盘阵列等系统级产品和硬盘等部件级产品没有本质区别。 例如，iometer测试费用类产品和公司级产品的可靠存储性能委员会( storage performance council，spc )基于存储系统级的benchmark规格spc-1/2，生成存储部件

另一方面，crystaldiskmark、hd tune pro毕竟不是iometer，而是专门为昂贵的产品设计的，可以说没有考虑外部存储系统的特征。 根据以前使用同类软件的经验，包括内部存储器、pcie闪存卡和usb存储器在内的简单直接连接存储设备的测试结果是一致的，但外部存储系统的测试结果很难解释

更何况，公司级产品必须衡量持续性的性能，ssd还包括抖动、延迟、损失……的考察，这些也是比较简单的费用级测试软件无法承担的。

如果是，这是否对旧的存储系统更不公平呢？ 别着急。 我们可以对我们认为不太可靠的测试结果进行有力的“补偿”。 重点还是最后说明客户这样做的道理……so性急的客户请耐心往下看……

三、测试结果

1.crystaldiskmark3_64位软件的测试结果

2 .高清_调制_专业版软件的测试结果

/ S2/]3. SQL服务器数据库的备份恢复测试

编辑注:正如前面的评论指出的那样，crystaldiskmark和hd tune pro测试pcie闪存卡的成绩仍然可靠。 在crystaldiskmark上，q520h顺序引线( 1147mb/s )超过了接口理论带宽) 2gb/s )的一半，cx3-20有点太低了。 虽然只有5个光纤通道驱动器，但120个硬盘的实际带宽不会超过800mb/s。 这是两个4GB/秒光纤通道磁盘端口仍在使用中的情况，仅一个端口的cx3-20带宽就达不到400mb/s秒。

这也不是cx3-20的错。 因为以前有消息说磁盘阵列中有很多硬盘。 因为它组合了随机访问的IOPs(i/opersecond，每秒I/o操作数)，而不是为了收集顺序访问的带宽。 对于中端存储系统(如CLARiiON )的随机访问性能经验，emc提供了约200iops的15000rpm(15krpm )硬盘。 根据这个计算，五个磁盘的读取iops可以有1000，两个软件的随机测试成绩有点太低了。 但是，即使按1000计算，也比q520h差很多。

观察EMC正式发布的CLARiiON CX3APP的性能，以及cx3-20全装备的oltp性能。 单位为tpm，即每分钟的事务数，换算成每秒的i/o后……

第项是实际APP测试，sql server的备份速度远远低于emc正式公布的CLARiiON CX3APP应用程序性能指标。 一个官方数据中的cx3-20是全装备，硬盘数量是本论文结构的24倍； 第二，在刘波的测试中，备份源和目标是同一设备( q520h或cx3-20 )，看起来既进行读取又进行写入。 备份速度肯定和预想的大不相同。

正如说明的那样。 从结论来看……

四、数据观测

1.连续传输速率比较

读取速率: pcie固态磁盘/raid5光纤磁盘=1147/205.9= 5.57

写入比率: pcie固态磁盘/raid5光纤磁盘=647.3/224= 2.89

结论: pcie固态磁盘比raid5光纤磁盘的连续访问传输速率有了很大的提高。

2.随机读写传输速率比较

1 ) 512kb测试模块:

读取速率: pcie固态磁盘/raid5光纤磁盘=952.9/55.01= 17.32

写入比率: pcie固态磁盘/raid5光纤磁盘=644.4/96.99= 6.64

)2) 4kb测试块:

读取速率: pcie固态磁盘/raid5光纤磁盘=25.67/0.951= 26.99

写入比率: pcie固态磁盘/raid5光纤磁盘=83.97/12.71= 6.61

结论: pcie固态硬盘比raid5光纤盘的随机访问传输速率有了很大的提高，与连续访问传输速率的提高相比，性能指标的提高幅度达到了26.99倍。

3.连续读写和随机读写的差异比较

)1) pcie固态磁盘的不同:

相对于连续传输速率512k随机传输速率:

导线比率: 1147/952.9=1.20

写入比率: 647.3/644.4=1.00

连续传输速率相对于4k随机传输速率:

导线比率: 1147/25.67=44.68

写入比率: 647.3/83.97=7.71

)2) raid5光纤磁盘的差异:

相对于连续传输速率512k随机传输速率:

导线比率: 205.9/55.01=3.74

写入比率: 224/96.9=2.31

连续传输速率相对于4k随机传输速率:

导线比率: 205.9/0.951=216.51

写入比率: 224/12.71=17.62

结论:无论是读操作还是写操作，相对于连续传输速率和随机存取传输速率的性能差异，pcie固态磁盘的性能差异均小于raid5光纤盘，且该性能差异的狭窄程度与块大小呈负相关 也就是说，数据块越小，pcie固态磁盘的性能相对于raid5光纤磁盘就越明显。 4k块读取操作可将性能提高多达4.85倍。

编辑注:测试软件的选择和部分测试结果存在不同程度的争议，q520h和cx3-20的性能差距可能稍有拉大，但上述分解结果的方向是正确的，ssd随机访问能力优异，硬盘 因此，随机访问的数据块越小，ssd的特征越明显； 数据块越大，硬盘的延迟就越小。

换言之，刘波运用不规范的测试手段，总体上得出了正确的结论。 那么，这将启发我们什么？

五、总结

连续传输速率和随机传输速率是衡量存储系统的重要指标，这两个指标的提高直接有助于提高数据库的访问性能。 以上测试结果证明了以下内容

1.pcieSSD在任何指标上都比san光纤以前传输的HDD有很大提高，各指标更均衡。

2 .与以前流传的机械硬盘存储器相比，小数据块的随机传输速率的提高尤为明显。 小数据块的随机传输速率的提高将提高存储设备的iops指标。 iops是以数据库为中心的新闻系统最重要的指标之一。 对于以前流传下来的机械硬盘，很难大幅提高这个指标，很快就会提高，成本也比较高。 发挥pcie固态盘存储介质的特点，可以直接提高数据库的事物解决能力，是提高otlp类APP同步解决能力的一种高效、廉价的性能提升手段。

3 .在SSD的情况下，随机传输速率的性能与连续传输速率的性能呈正相关，连续传输速率与随机传输速率的性能差距大幅缩小。 因为该连续传输速率将成为反映SSD性能的最重要的代表性指标之一。 连续传输速率的指标由SSD的内部结构和接口速率决定。 因此，在考察SSD的性能时，需要注意SSD的接口速率和读写延迟的指标。

4 .测试表明，吞吐量的提高缩短了数据库备份恢复时间，压缩了系统维护窗口，提高了系统的在线服务功能。

编辑注:对于上述结论，我们首先有一个补充意见。

1.随机访问性能是基于半导体技术的闪存对于机械硬盘的最大特点，旧的cx3-20当然是优秀的pcie闪存卡，在搭载数百块高转速硬盘之前就已经传输了。

2.相对来说，硬盘的顺序读写能力并不差。 以前，由于sas/sata接口的带宽限制，ssd的顺序读取性能最多是硬盘的2、3倍，但现在由于pci express 3.0的支持，单个pcie闪存卡的顺序读取性能最高 但是，如果存储系统的带宽足够，即使堆积了大量硬盘，也可以与ssd竞争。 除了硬盘的容量和价格特点外，将磁盘存储系统用于备份是更好的选择。

这么说来，刘波的测试只不过说明了已经得出结论的事实？ 那么为什么一定要做这个“无用的学习”呢？

闪存产品可能证明了中国以前流传的公司市场上的接受度不理想的原因。 在大型制造商的发布会上，ssd和闪存阵列的i/o性能为“10x”、“30x”、甚至“100x”是磁盘和磁盘阵列的对象，一方面可能并不夸张，但另一方面面向顾客的普及力度不够， 如果缺乏可靠的第三方测试数据支持，客户自行测试是一种责任和无奈的行为。

客户可以自己测试，也可以在更实际的应用环境中进行测试，不是那么“儿科”的……客户的本职工作可能是服务所属公司的APP，是专职的测试人员 很多人也不具备这个条件。 真不敢相信。

3.本文在sql server环境中进行了测试，认为与该客户的APP很接近。 但是，要验证存储设备在sql server环境中的性能，我们知道，随机访问( iops )是首要考虑事项，复制和恢复是次要方案。 但是，商用数据库(如SQL服务器)专门设计的测试软件很少，目前戴尔的toad for SQL服务器提供了高级版本的测试工具。 一个需要购买软件许可证，二是许多复杂的配置，许多公司的客户不能指望在本分之外的业务上花费这么大的努力来测试存储性能。 与oracle数据库相比，orion是免费的，但是需要相当多的测试经验才能被采用。 对于编写脚本进行比较性的测试，客户有严格的要求。

从这些说明中也可以看出，该客户在benchmark测试中使用的是crystaldiskmark和hd tune pro而不是iometer。 作为一个比较专业的测试工具，iometer可以调整很多参数，定制测试模型，意味着更难使用，而crystaldiskmark和hd tune pro相反，测试模型不透明，但很简单，结果

这也让我思考了“实际的顾客方案测试”。 “接近客户实际APP的测试”是zdnet处理计划中心的宗旨，有时会面临“在实际客户环境中测试的结果”的要求，这让我们很为难。 要知道，客户不会在生产环境中直接采用新产品。 即使是百度这样的网络客户，据说测试部门也无法获得生产部门的数据集和代码，只能用尽可能接近的脚本进行模拟。 这一步骤已得到普遍验证。 由于客户显然无法完全接受制造商的促销，因此在大规模购买和部署之前，需要了解性能和兼容性等方面的基本知识。 您在APP环境中的实际性能如何？ 那是应用实例的范畴，数据更准确，有“可靠性”，但不能强加于产品测试环节。