论当今存储集群的发展趋势

好不容易熬到了高中。这个时候，大奔出来了，多媒体计算机出来了，声卡也有了。当然那时候还基本靠cpu来运算发声（软声卡），不像现在的。网卡也有了。磁盘控制器也加入了RAID功能。

说了一大堆废话，快迷糊了……越说越后悔当初没好好学习……。

进入正题，我想说的是：“分而治之”中的“分”字。显示输出，音频输入输出，以太网编码解码器，磁盘IO控制器，这些就像CPU的手臂一样，属于“分”的概念，甚至现在还在不停的分。比如ToE，把TCP/IP协议处理从CPU转移到独立的芯片上。又比如大型机的前置处理机，比如DCP，3270等，这些“分而治之”的思想，体现了什么？ 是分布式！SAN的出现，把磁盘子系统完全从主机独立还来，分而治之！NAS的出现，把文件系统从主机分出了一部分，由单独的NAS来处理，然后呈现给OS，这也体现了一个“分”字。OSI分了7层，也体现了一个分！RAID技术将数据分块存放在多块磁盘上，正是“分而治之“思想的完美体现。

再来看hpc中的内容，这里面的“分”的思想就数不胜数了。比如，传统SMP架构，存在总线共享的问题。好，那就分，用Crossbar也好，Infiniband也好，SCI也好，都成了交换架构，解决Cache一致性问题，再也不用总线广播了，只需向曾经读取过对应Cache块的节点处理机发送失效信号便可，而这是共享总线做做不到的。软件方面，由于在集群系统中，使用廉价的PC Server做节点，在没有SAN后端存储的情况下，基于本地磁盘的IO吞吐量瓶颈很大，远达不到科学计算的要求，怎么办呢？分吧！把数据分别存放在各个节点，把各个节点的Direct Attached的磁盘存储资源，整合成一个大的共享存储资源，这样齐心合力，提高IO吞吐量，这就是分布式文件系统的效能。当然作用还不止这些，不如这些FS一般都支持多节点可以读写同一个文件，利用加锁机制。通过集群网络通信，保持数据的一致性。在用SAN做后端存储的条件下，吞吐量问题是缓解了，但是文件共享问题还是没有解决，虽然可以用NFS之类的NAS解决，但是NAS需要在SAN前端加NAS头，这个是很大的瓶颈所在。所以出现了专门针对SAN的集群文件系统，用来解决共享问题，比如SANery以及其升级版合标准化版SANfs，以及国内的BWFS等。这些SANfs，即保证了各个主机对SAN有直接访问权，消除了NAS头造成的瓶颈，又保证了不会造成冲突（用Metadata Server控制）。