突破I/O瓶颈 五种解决方案各有利弊

核心提示： 实际监测结果显示，当原始数据量较大时，突破I/O瓶颈 五种解决方案各有利弊(2)，开始阶段和结束阶段所占用的整体时间已经相当可观，在有些系统中甚至可以占到50%左右，是目前FC技术的5～15倍，在这样的带宽保证下，I/O效率的改进，已经成为今天大多数Linux并行集群系统提高效率的首要任务

实际监测结果显示，当原始数据量较大时，开始阶段和结束阶段所占用的整体时间已经相当可观，在有些系统中甚至可以占到50%左右。I/O效率的改进，已经成为今天大多数Linux并行集群系统提高效率的首要任务。

解决I/O瓶颈的初步探讨----瓶颈到底在哪里?

在上面的系统结构图中可以看出，如果把“以太网交换”以下的部分统统看作存储系统的话，那么可能的瓶颈无外乎以下三种：

存储设备本身性能，姑且称之为“存储设备瓶颈”

I/O节点与存储设备间的连接，姑且称之为“存储通道瓶颈”

计算节点与I/O节点间的网络交换，姑且称之为“网络交换瓶颈”

究竟哪一环节是最为关键的问题呢?让我们结合实际情况，逐一的分析一下。

目前的存储设备类型丰富，种类繁多。仅中端设备中，容量扩展能力在几十TB，每秒处理数万次I/O，数据吞吐带宽在数百MB/s的设备就有很多种选择。以勘探数据处理系统为例，在一个32计算节点的叠前处理系统中，如果需要使每个计算节点得到15～20MB/s的带宽，那么集群对后端存储的总体带宽(即聚合带宽)要求大约为500～650MB/s。目前的中端磁盘阵列产品基本都可以达到这一性能指标。如果考虑64个或更多计算节点，后端带宽要求需要达到1～1.3GB/s甚至更大，这一性能是目前单一中端磁盘阵列系统难以达到的。然而通过引入多台存储设备，这一问题也不难解决。

目前的存储设备通道技术主要以SCSI和FC为主。目前单条FC通道可保证200MB/s的传输带宽，以4条通道并行工作就可以达到800MB/s的带宽保证。这一指数已经完全可以满足32个计算节点并行工作的带宽要求。此外IB(InfiniBand)技术作为新兴通道技术，更进一步保证了通道带宽。目前已经产品化的IB交换技术已经可以达到10~30Gb/s的带宽，是目前FC技术的5～15倍。在这样的带宽保证下，既便是256或512节点的集群也可以与存储设备从容交换数据。