开发学院服务器服务器方案 突破I/O瓶颈 五种解决方案各有利弊 阅读

突破I/O瓶颈 五种解决方案各有利弊

 2008-12-18 11:03:54 来源:WEB开发网   
核心提示: 实际监测结果显示,当原始数据量较大时,突破I/O瓶颈 五种解决方案各有利弊(2),开始阶段和结束阶段所占用的整体时间已经相当可观,在有些系统中甚至可以占到50%左右,是目前FC技术的5~15倍,在这样的带宽保证下,I/O效率的改进,已经成为今天大多数Linux并行集群系统提高效率的首要任务

实际监测结果显示,当原始数据量较大时,开始阶段和结束阶段所占用的整体时间已经相当可观,在有些系统中甚至可以占到50%左右。I/O效率的改进,已经成为今天大多数Linux并行集群系统提高效率的首要任务。

解决I/O瓶颈的初步探讨----瓶颈到底在哪里?

在上面的系统结构图中可以看出,如果把“以太网交换”以下的部分统统看作存储系统的话,那么可能的瓶颈无外乎以下三种:

存储设备本身性能,姑且称之为“存储设备瓶颈”

I/O节点与存储设备间的连接,姑且称之为“存储通道瓶颈”

计算节点与I/O节点间的网络交换,姑且称之为“网络交换瓶颈”

究竟哪一环节是最为关键的问题呢?让我们结合实际情况,逐一的分析一下。

目前的存储设备类型丰富,种类繁多。仅中端设备中,容量扩展能力在几十TB,每秒处理数万次I/O,数据吞吐带宽在数百MB/s的设备就有很多种选择。以勘探数据处理系统为例,在一个32计算节点的叠前处理系统中,如果需要使每个计算节点得到15~20MB/s的带宽,那么集群对后端存储的总体带宽(即聚合带宽)要求大约为500~650MB/s。目前的中端磁盘阵列产品基本都可以达到这一性能指标。如果考虑64个或更多计算节点,后端带宽要求需要达到1~1.3GB/s甚至更大,这一性能是目前单一中端磁盘阵列系统难以达到的。然而通过引入多台存储设备,这一问题也不难解决。

目前的存储设备通道技术主要以SCSI和FC为主。目前单条FC通道可保证200MB/s的传输带宽,以4条通道并行工作就可以达到800MB/s的带宽保证。这一指数已经完全可以满足32个计算节点并行工作的带宽要求。此外IB(InfiniBand)技术作为新兴通道技术,更进一步保证了通道带宽。目前已经产品化的IB交换技术已经可以达到10~30Gb/s的带宽,是目前FC技术的5~15倍。在这样的带宽保证下,既便是256或512节点的集群也可以与存储设备从容交换数据。

上一页  1 2 3 4 5  下一页

Tags:突破 瓶颈 解决方案

编辑录入:爽爽 [复制链接] [打 印]
[]
  • 好
  • 好的评价 如果觉得好,就请您
      0%(0)
  • 差
  • 差的评价 如果觉得差,就请您
      0%(0)
赞助商链接