构建自己的基于 Java 的超级计算机

核心提示：对 java 程序员不利的是，多数集群系统都是围绕基于 C 语言的软件消息传递 API — 如消息传递接口（MPI）或并行虚拟机（PVM）— 来实现的，构建自己的基于 Java 的超级计算机，用 C 语言进行并行编程不是件轻易的事，因此我设计了一个替代方案，机器间通信的开销与在单个机器上执行全部任务的开销相比逐渐变得微

　　对 java 程序员不利的是，多数集群系统都是围绕基于 C 语言的软件消息传递 API — 如消息传递接口（MPI）或并行虚拟机（PVM）— 来实现的。用 C 语言进行并行编程不是件轻易的事，因此我设计了一个替代方案。本文将说明如何综合运用 Java 线程和 Java 远程方法调用（RMI）来创建自己的基于 Java 的超级计算机。
　　
　　请注重，本文假定您有 Java 线程和 RMI 的应用知识。
　　
　　超级计算机内有什么？
　　超级计算机的定义是：由八个或更多的节点组成、作为单个高性能机器工作的集群。基于 Java 的超级计算机包含一个作业调度器和任意数量的运行服务器（也称为主机）。作业调度器生成多个线程，每个线程包含执行不同子任务的代码。各个线程将其代码迁移到不同的运行服务器上。然后，每个运行服务器执行迁移给它的代码并将结果返回给作业调度器。最后，作业调度器将各个线程的结果组合起来。
　　
　　这种并行集群系统之所以被称为伪远程线程，是因为线程是在作业调度器上调度的，但线程内的代码却是在远程计算机上执行的。
　　
　　该系统有哪些组件？
　　组件一词是指组成“伪远程线程”并行集群系统的逻辑模块。该系统包含以下组件：
　　
　　Job dispatcher（作业调度器） 是执行控制的机器。它生成不同的线程，每个线程都包含此集群要处理的主任务的一个子任务。每个线程内的代码都被发送到一台远程计算机去执行。线程在作业调度器上调度，所以理论上讲，该机器不应该用于执行任何子任务。
　　
　　SuBTask 是一个用户定义类，该类定义主任务的一个数据或功能独立的部分。您可以为主任务的不同部分定义不同的类。类名 SubTask 是一个示例。您可以为一个 SubTask 类取任何名字，不过这个名字应该能描述分配给它的子任务。在定义 SubTask 类时，您必须实现 JobCodeInt 接口以及 jobCode() 方法，下面对其进行说明。
　　
　　JobCodeInt 是一个 Java 接口。您必须在定义子任务的类中实现该接口和 jobCode() 方法。jobCode() 方法描述了将在远程执行的代码。假如您打算在远程使用某个本地资源，您必须在 jobCode() 方法外部初始化这个资源。比方说，您要将一组图像发送到远程处理，就必须在 jobCode() 方法外部初始化 Image 对象。您可以在该方法中调用标准 Java 库中的类，因为远程计算机上存在这些库。
　　
　　RunServer 是一个 Java 对象，该对象答应远程过程调用其方法。它的一个方法以实现了 JobCodeInt 接口的对象作为参数。 RunServer 就在运行该对象的计算机（运行服务器）上执行该对象内的代码，并将计算结果作为 Object 类的一个实例返回。Object 是 Java 类层次结构中最高一级的类。
　　
　　PseudoRemThr 是一个 Java 类，该类封装了一个线程并接受给定 SubTask 类的一个实例。它选择一台远程主机，并将 SubTask 实例发送到这台主机上执行。假如您要利用某台主机上可用的特定资源（诸如数据库或是打印机），则可以指定主机。
　　
　　HostSelector 是一个模块。假如您没有指定远程主机，PseudoRemThr 类就会调用 HostSelector 模块来选择特定的主机。假如没有空闲的主机，HostSelector 会返回负载最小的远程计算机。假如某个远程计算机是一个多处理器系统，HostSelector 可能会不止一次地返回该主机名。目前，HostSelector 无法根据给定任务的复杂程度来选择主机。
　　
　　伪远程线程的工作方式
　　要使用伪远程线程，您必须实现作业调度器和运行服务器。本节将说明如何实现各个部分。
　　
　　实现作业调度器
　　首先，将主任务分解为数据或功能独立的子任务。针对每个子任务，定义一个实现 JobCodeInt 接口（从而实现 jobCode() 方法）的类。在 jobCode() 方法中，定义各给定子任务要执行的代码。
　　
　　请注重，您不能调用作业调度器上用户定义的的本地资源。请在该方法外部初始化所有这类资源。例如，您可以在 SubTask 类的构造函数中初始化这类资源。
　　
　　创建类 PseudoRemThr 的若干实例，并将 SubTask 的实例传递给 PseudoRemThr 的各个实例。假如您要明确指定一台远程主机,您可以通过调用 PseudoRemThr 对象的另一个构造函数来完成。
　　
　　等待这些线程完成。调用 getResult() 方法来获取 PseudoRemThr 的各个实例的执行结果。假如计算没有完成，结果返回一个值为 false 的 Boolean 对象；否则，将返回 Object 类的一个实例，其中包含了计算结果。您必须将此实例转换为您所希望的类类型。将所有的子任务结果组合为最终结果。
　　
　　实现运行服务器
　　实现运行服务器是一项简单的工作：
　　
　　启动 RMI 注册程序。
　　启动 RunServer。
　　运行服务器在启动时接通作业调度器，并通知作业调度器它已预备就绪，可以接受要执行的任务了。
　　
　　一个计算示例
　　现在该测试这一模型了。以下计算示例使用两台计算机并行运行。一台是运行 Windows 98 的 333 MHz Pentium II 计算机，另一台是运行 windows 2000 专业版的 500 MHz Pentium III 计算机。
　　
　　为了计算从 1 到 10^9 的所有整数的平方根之和，我创建了 Sqrt 类，它计算 dblStart 和 dblEnd 之间所有整数的平方根之和。
　　
　　Sqrt 实现 JobCodeInt 接口，因此也实现了 jobCode() 方法。在 jobCode() 方法中，我定义了完成这一计算的代码。
　　
　　构造函数用于将数据传递给 Sqrt 类，并初始化作业调度器上的所有本地资源。必须将要计算其平方根之和的整数的起止点发送给构造函数。清单 1 是 Sqrt 类的定义
　　
　　清单 1. 定义 Sqrt 类
　　//Sqrt 类计算 dblStart 和 dblEnd 之间的所有整数的平方根之和。
　　//计算在 jobCode() 方法内完成
　　//该类实现 JobCodeInt 接口，且实现代码位于 jobCode() 方法内
　　//在构造函数中将数据传递给该类，并初始化作业调度器上的本地资源。
　　//本例中，要计算其平方根之和的整数序列的起止点被发送给 Sqrt 类
　　public class Sqrt implements JobCodeInt
　　{
　　
　　double dblStart, dblEnd, dblPartialSum;
　　
　　public Sqrt(double Start,double End)
　　{
　　dblStart = Start;
　　dblEnd = End;
　　}
　　
　　public Object jobCode()
　　{
　　dblPartialSum = 0;
　　for(double i=dblStart;i<=dblEnd;i++)
　　//可调用标准的 Java 函数和对象。
　　dblPartialSum += Math.sqrt(i);
　　
　　//返回结果，一个标准 Java 类的对象。
　　return (new Double(dblPartialSum));
　　}
　　}
　　
　　JobDispatcher 类创建 Sqrt 类的两个实例。然后分解主任务，将一项子任务分配给一个 Sqrt 对象（Sqrt1），并将余下的子任务分配给另一个 Sqrt 对象（Sqrt2）。接下来，JobDispatcher 创建 PseudoRemThr 类的两个对象，并将 Sqrt 对象作为参数分别传递给它们。接下来就等待线程执行。
　　
　　一旦线程执行完毕，就可从每个 PseudoRemThr 实例获得部分结果。将各部分结果组合起来即可得到最终结果，如清单 2 所示。
　　
　　清单 2. 工作中的 JobDispatcher
　　
　　//此类可以命名为您选择的任何名称
　　//这里选用 JobDispatcher 只是为了方便
　　
　　public class JobDispatcher
　　{
　　public static void main(String args[])
　　{
　　double fin = 10000000; //代表 10^9
　　double finByTen = fin/10; //代表 10^8
　　long nlStartTime = System.currentTimeMillis();
　　//范围从 1 到 3*10^8
　　Sqrt sqrt1 = new Sqrt(1,finByTen*3);
　　//范围从 ((3*10^8)+1) 到 10^9
　　Sqrt sqrt2 = new Sqrt((finByTen*3)+1,fin);
　　
　　//以下创建 PseudoRemThr 类的两个实例。 //此构造函数的参数如下所示。 //第一个参数：代表子任务的某个类的实例
　　//第二个参数：执行这一子任务的远程主机
　　//第三个参数：PseudoRemThr 实例的描述性名称。
　　PseudoRemThr psr1 = new
　　PseudoRemThr(sqrt1,"//192.168.1.1:3333/","Win98");
　　PseudoRemThr psr2 = new
　　PseudoRemThr(sqrt2,"//192.168.1.2:3333/","Win2K");
　　
　　psr1.waitForResult(); //等待执行结束//获取每个线程的结果
　　Double res1 = (Double)psr1.getResult();
　　Double res2 = (Double)psr2.getResult();
　　double finalRes = res1.doublevalue() + res2.doublevalue();
　　
　　long nlEndTime = System.currentTimeMillis();
　　System.out.PRintln("Total time taken: " + (nlEndTime-nlStartTime));
　　System.out.println("Sum: " + finalRes);
　　}
　　}
　　
　　性能评价
　　此计算的总执行时间在 120,000 毫秒到 128,000 毫秒之间。假如在不分解任务的情况下在本地运行同样的任务，执行时间将在 183,241 到 237,641 毫秒之间。
　　
　　最初，主任务包括计算从 1 到 10^7 的所有整数的平方根之和。为测试性能，我将计算范围扩大到 10^8，最终扩大到 10^9。
　　
　　随着任务量的增加，远程并行执行和本地执行所需时间的差别也越来越明显。这就是说，当执行大型任务时，远程并行执行消耗的时间较少。远程并行执行并不适合小型任务，因为机器间通信的系统开销不容忽视。随着任务量的增加，机器间通信的开销与在单个机器上执行全部任务的开销相比逐渐变得微不足道。因此，我得出以下结论：伪远程线程系统能很好地完成需要进行大量计算的任务。
　　
　　使用伪远程线