WEB开发网
开发学院服务器存储技术 对象存储不给高性能计算添堵 阅读

对象存储不给高性能计算添堵

 2010-05-28 00:00:00 来源:WEB开发网   
核心提示: 存储的智能化也是学术研究的热点,CMU的PDL在继续研究self-存储,对象存储不给高性能计算添堵(7),其中包括 self-managing、self-configuring、self-organizing、self-tuning、self-healing,这种存储的self-特性代表了存储的

存储的智能化也是学术研究的热点。CMU的PDL在继续研究self-存储,其中包括 self-managing、self-configuring、self-organizing、self-tuning、self-healing。这种存储的self-特性代表了存储的智能化,操作系统可以利用这些特性获取更好的存储性能。威斯康星大学的研究人员采用了另外一种方式,试图分析智能磁盘系统的语义,学习文件系统的数据结构。

在CMU NASD项目的基础上,诞生了两个基于对象存储设备的分布式文件系统Lustre和Panasas。两个项目的创始人Peter J.Braam和Garth Gibson都曾经参与该项目。

Lustre

Lustre是一个开放源码的、基于对象存储的高性能分布式文件系统,由Cluster File System(CFS)公司研发,已经开放的版本为1.2.4,在其官方网站可以自由下载。美国的三大实验室(Los Alamos、Lawrence Livermore、Sandia National Laboratories)都部署了该系统。Lustre运行在商业设备上,使用基于对象的磁盘(Object-based Disks,OBD)存储数据,元数据服务器(MDS) 为整个文件系统提供元数据服务。Lustre由三个部分组成,即客户端、MDS和OST(Object Storage Ttarget)。其中,OST负责管理保存在OBD上的数据,并为客户端的访问提供数据服务,MDS为客户端提供元数据服务和分布式锁服务。对于客户端而言,Lustre是一个透明的文件系统,无需知道具体数据所在的位置,可以透明地访问整个文件系统中的数据。客户端同OST进行文件数据的交互,包括文件数据的读写、对象属性的改变等;同MDS进行元数据的交互,包括目录管理、命名空间管理等。三个组成部分除了各自的独特功能以外,相互之间共享诸如锁、请求处理、消息传递等模块。Lustre是一个高度模块化的系统,三个组成部分可以在一个节点上工作,也可以在不同的节点上工作。

Panasas

同Lustre一样,Panasas也是一个对象存储系统,应用于大规模的Linux集群环境。该系统由OSD、Panasas文件系统和MDS组成。数据保存在OSD上,每个OSD由两个SATA驱动器组成。Panasas文件系统运行在客户端上,为应用程序提供文件系统接口,将应用程序的文件请求发送给MDS和OSD,并将MDS和OSD返回的数据交给应用程序。Panasas文件系统在客户端将需要写到OSD的数据进行RAID分带,将包括校验数据在内的所有分带分别写入各个OSD,从而使数据的存储更可靠。Panasas的MDS也为文件系统提供了元数据访问、文件和目录访问管理,以及客户端上数据的Cache一致性。

上一页  2 3 4 5 6 7 

Tags:对象 存储 高性能

编辑录入:爽爽 [复制链接] [打 印]
赞助商链接