WEB开发网
开发学院服务器服务器方案 突破I/O瓶颈 五种解决方案各有利弊 阅读

突破I/O瓶颈 五种解决方案各有利弊

 2008-12-18 11:03:54 来源:WEB开发网   
核心提示: 方案二、多I/O节点间文件级共享在引入文件共享技术的SAN架构下,各个I/O节点可以同时读取同一文件,突破I/O瓶颈 五种解决方案各有利弊(4),这为I/O节点间的负载均衡提供了可能,然而SAN架构下的文件共享并没有解决所有问题,这种模式的可行性已经在现实中被证实,例如,其实这一技术仅仅是

方案二、多I/O节点间文件级共享

在引入文件共享技术的SAN架构下,各个I/O节点可以同时读取同一文件。这为I/O节点间的负载均衡提供了可能。然而SAN架构下的文件共享并没有解决所有问题,其实这一技术仅仅是为解决问题提供了底层的支持而已。

从图中可以看到,所有计算节点被人为划分成两部分,每个I/O节点为其中一个部分提供I/O服务响应。也就是说,在计算节点的层面上,系统是手工负载均衡,而非自动负载均衡。在大多数实际应用环境中,手工负载均衡意味着繁重的管理工作任务。每当增加新的计算任务或者调整参与计算的CPU数量时,几乎所有的NFS共享卷绑定关系必须重新配置。而当多个作业同时运行,尤其是每个作业要求的CPU资源还不尽相同时,配置合理的绑定关系将是系统管理人员的一场噩梦。

造成这一问题的根本原因在于,多I/O节点为系统引入了多个逻辑数据源,而目前主流并行集群系统都是在单一数据源的结构下开发的。既然现有应用不能在短时期内有所改变,能否在提高前端计算节点I/O能力的同时,回归到单一逻辑数据源的结构呢?其实,以目前的技术而言,答案是肯定的。

方案三、单I/O节点蜕化为MDC,计算节点直接接入SAN

目前SAN架构下文件共享的技术已经较为成熟,如果将全部计算节点都接入SAN,而将I/O节点设置为MDC(Meta Data Controller),就可以在提高系统I/O能力的同时,形式上保留原有的单一I/O节点,单一数据源的逻辑结构。

在这一架构下,各个计算节点形式上还是通过NFS共享访问I/O节点,但实际的数据读写路径则通过SAN交换直接到达磁盘阵列。这种模式的可行性已经在现实中被证实。例如,IBM公司的GPFS技术就是以这种方式解决集群的I/O瓶颈问题的。

上一页  1 2 3 4 5  下一页

Tags:突破 瓶颈 解决方案

编辑录入:爽爽 [复制链接] [打 印]
赞助商链接