WEB开发网
开发学院服务器存储技术 浪潮刘军:深度计算5大挑战 探索生命的奥秘 阅读

浪潮刘军:深度计算5大挑战 探索生命的奥秘

 2009-09-21 00:00:00 来源:WEB开发网   
核心提示: 刘军则分析了存储文件系统的选择,一种是简单易用、稳定可靠的NFS,浪潮刘军:深度计算5大挑战 探索生命的奥秘(3),但却在多用户集群环境下性能会下降,而且无法实现存储共享,同时作业管理软件也已经成为大型高性能计算的重要组成部分,能够实现多用户、多作业的管理,OPS也较低,在使用IPoverIB时

刘军则分析了存储文件系统的选择。一种是简单易用、稳定可靠的NFS,但却在多用户集群环境下性能会下降,而且无法实现存储共享,OPS也较低,在使用IPoverIB时会损失较大性能;另一种则是IO带宽很高的并行文件系统,却面临商用软件价格高昂,开源软件可靠性没保证的尴尬。很多用户往往不得已而使用前者。为此,浪潮推荐用户使用万兆集群存储系统,可以将管理便利性与高性能结合起来,方便未来系统的扩展。

挑战3:面对海量数据 存、管如何两不误?

对生命科学计算而言,数据存储是关键,但不仅要满足海量数据的存取,还要方便对数据进行高效管理。生命科学研究所涉及的数据量极为庞大。以大熊猫为例,大熊猫共有21对染色体,基因组大小与人类相似约为30亿个碱基对,包含2-3万个基因。如果将大熊猫基因组序列写成一本书,其厚度相当于384 米高的大厦。同时,基因数据库容量以每6-8月翻一番的速度增长,这一增长速度甚至超过了计算机运算能力的增长。

对此,浪潮的建议是,推荐用户采用三级分层存储的方式,即一级的高速SAS或FC在线存储系统,二级的大容量SATA近线存储,这两级都采用集群存储方式,分别满足性能和容量的需求,三级的虚拟带库备份系统,避免数据丢失。

挑战4:系统规模大、作业任务多,如何智能管理?

由于集群系统规模较大,加上软件众多,需要对系统、作业提供柔性、智能化的管理工具。胡松年谈到,现在北京基因组研究所的客户端数量很多,往往有几百个任务的并行请求,为避免塞车,需要对作业任务的优先级进行科学管理。

刘军谈到,在集群管理和作业调度软件上,浪潮开发了TSMM2.0监控管理软件,可以实现系统管理、监控、报警等一系列智能化的功能,同时作业管理软件也已经成为大型高性能计算的重要组成部分,能够实现多用户、多作业的管理,包括资源管理、系统管理、作业管理、策略管理、记帐管理、应用软件管理等。

上一页  1 2 3 4  下一页

Tags:浪潮 刘军 深度

编辑录入:爽爽 [复制链接] [打 印]
赞助商链接