高可靠环境 FileNet 系统介绍和应用实例

核心提示：本文介绍 FileNet P8 的高可靠环境（High Availability）理论知识，并介绍了一个基本的高可靠环境搭建的应用实例，高可靠环境 FileNet 系统介绍和应用实例，本文分两部分，其中，部署过程中指定应用服务器，应当选择前面创建的集群：AECluster，第一部分介绍了 FileNet P8 集群环境

本文介绍 FileNet P8 的高可靠环境（High Availability）理论知识，并介绍了一个基本的高可靠环境搭建的应用实例。本文分两部分，其中，第一部分介绍了 FileNet P8 集群环境的拓扑结构，并根据 FileNet 不同组件的特点，分别介绍了其搭建高可靠环境的各种方式和优缺点。第二部分以最常见的基于 Websphere 和 DB2 组合，给出了一个 FileNet 高可靠环境搭建的实例。其中包括 FileNet 核心组件 Content Engine, Process Engine, Application Engine 的搭建。

引子 -- 研究高可靠性环境 FileNet 系统的重要性

单个服务器的解决方案（添加内存和 CPU ）的可扩展性并不强大，因为可能有单点故障。在一些非常重要的应用部门，比如银行，保险，证券，以及民航，一分钟的宕机，都可能导致很严重的后果。这些服务在任何时候都有合理的可预测的响应时间是必要的。高可靠性环境是一个比较好的解决方案，它可以保障这样的高可用性，在一台甚至多台服务器发生故障情况下提供服务。

FileNet 系统经常被作为业务支撑系统，在银行、保险和电信等行业的核心部门都发挥着重要作用。通常都采用高可靠性部署方案。

高可靠性环境的 FileNet 简介

高可靠性架构的理论简介

FileNet 核心产品主要有 Content Engine(CE) , Process Engine(PE), Application Engine(AE). 其中 Content Engine, Application Engine 是基于 J2EE 架构的产品 , 而 Process Engine 是非 J2EE 的产品。它们的高可靠性架构的实现有所不同。下面先从总体架构上讲解 FileNet 支持的高可靠性架构。

通常我们所说的高可靠性可以分为两种 , 一种是 Server Farm , 另一种是 Server Cluster.

Server Farm

Server Farm 是一组相同的服务器 , 它一般通过硬件或软件的负载均衡技术来实现。所有服务器处于工作状态，提供同样的服务。负载平衡器负责分发传入的客户端的请求。

图 1. Farm 结构示意图

负载均衡器提供了更好的可用性和更好的可扩展性。当服务器发生故障，负载平衡器能自动检测故障和用户请求重定向到 Farm 中的另一台服务器，从而使应用程序的可靠运行。

下面列出几种经过测试的 FileNet 支持的配置 Farm 的产品 ：

表 1. FileNet 支持的配置 Farm 的产品

产品名称	注解
BEA WebLogic clusters
F5 Big IP
IBM WebSphere® Application Server group of clones
JBoss cluster	也称为 HA partition

Server Cluster

Server Cluster 是基于共享软件配置数据存储，适用于以数据为中心的层次，如文件服务器和数据服务器，它们的数据内容是不断变化的。它具有如下特点 :

两个或两个以上的服务器共享一个高度可用的磁盘阵列的数据存储。使用磁盘阵列，从而避免需要在服务器之间的数据复制。这些服务器都可以有自己的本地硬盘存储，操作系统以及其他软件。

一套通用的应用程序运行在每个服务器上。

Server 客户端看到的 Server Cluster 为一个单一的虚拟服务器。

如果其中一个服务器发生故障，其他服务器接管故障服务器的工作 。当故障的服务器修复，并准备再次运行，工作从其他服务器转回（故障恢复） 。

在大多数 server clusters，同时只有一台服务器向客户提供服务。这就是所谓的 active-passive 配置。一些产品还支持另一种模式，所谓的 active-active 配置。在这种模式下，所有服务器在同一时间可以分担工作量。

Server Cluster 和配置方式有几种 :

1. 非对称 Cluster

非对称 Cluster 是不对称的，即 Cluster 包括主动和被动的服务器。不对称 1 对 1 组有一个积极的服务器和一个被动的服务器。这是最简单的形式的 Server Cluster，但也最昂贵的，但实际上数量翻一番服务器所需的特定的工作量。

图 2. 基本非对称 Cluster 示意图

查看原图（大图）

2. 对称 Cluster

对称 Cluster 被称为对称，因为所有的服务器（也称为节点）都是活跃的。在对称 Cluster 服务器通常运行不同的服务。没有两个服务器使用同一数据集。这样的好处是，不必担心数据同步时的完整性问题。

图 3. 对称 Cluster 示意图

查看原图（大图）

3. N + 1 clusters

一个 N +1 高可靠性已 ñ 积极节点只有一个（ 1 ）被动的备份节点。唯一的被动节点作为备份所有 N 主动节点。这是一个非对称群，因为它集合了 active- passive 模式，但与非对称 1 比 1 cluster 相比 , 它需要较少的节点。每个节点的 N +1 配置群集软件的所有服务支持群集。这使得每一个节点作为备份所有的主动节点的群集。它的好处是，一个失败的节点，当重新联机，可以作为备份节点。这避免了需要有一个故障恢复前备份节点的过程，从而消除了服务中断所造成的故障恢复活动。

图 4. N+1 Cluster 示意图

查看原图（大图）

4. N to M clusters

一个 N to M cluster 已 N 个活动节点和 M 个配置为故障转移的节点。故障节点的 M 也可以主动或被动。像 N+1Cluster，一个 N to M Cluster 可配置为以故障恢复失败的节点时可再次使用。N to M Cluster 的优势在于，它可容纳多各故障。

图 5. N to M Cluster 示意图

查看原图（大图）

表 2. FileNet 支持的配置 Cluster 的产品

产品名称	注解
Microsoft Cluster Server	Windows
Veritas Cluster Server	这个是 Symantec 出品的产品，可以运行在 AIX， HP-UX， Sun Solaris， Microsoft Windows Server

FileNet 高可靠性架构简介

FileNet 常见系统拓扑图

在上面的理论基础上 , 这里给出一个常见的高可靠性环境的 FileNet 核心产品的拓扑图。

图 6. 常见的高可靠性环境的 FileNet 拓扑图

查看原图（大图）

上图是一个常见的 FileNet 高可靠性系统 , 可以由图看出如下特点 :

AE 和 CE 是基于 J2EE Application Sever 的 Farm

PE 是基于夫在均衡器 (e.g F5 Big IP) 的 Farm

AE 的配置文件可以放置在共享存贮 ( 例如 磁盘阵列 ) 中

CE 的 FileStore 也可以放置在共享存贮中

DB 是可以是一个数据库高可靠性 ( 例如 Oracle RAC)

LDAP 可以使用 Server Cluster 方式组建高可靠性环境

搭建 FileNet 高可靠性环境的方式由许多种 , 这主要需要根据业务的需求来选择。 上面的的拓扑图仅仅是一个常见的例子。

以 Content Engine 为例的 J2EE 架构产品的高可靠性简介

Content Engine 是一个基于 J2EE 架构的产品 , 下面列出三种实现方式：

1. 基于 J2EE Application Server 的实现 ( 推荐 )

J2EE Application Server 有多种 , 常见的 FileNet 支持的有 Websphere ND, Weblogic 和 Jboss。

它们都支持高可靠性的模式，这种方式将在后面的例子中具体讲解。

2. 使用集群软件实现 Cluster

这种方式主要实现的是 Cluster , 而不是 Farm. 经过测试的软件主要有上面提到的 Microsoft Cluster Server(MSCS) 和 Symantec Veritas Cluster Server。

以 Process Engine 为例的操作系统级的高可靠性架构简介

Process Engine 是一款非 J2EE 架构的产品 , 它的高可靠性的实现方式有 :

1. 基于 F5 Big IP 的实现 ( 推荐 )

F5 BIG-IP 是一款的硬件产品。 它是一种负载均衡器 , 可以提供高可用性和高可靠性。 关于 PE 基于 F5 BIG-IP 的配置 , 也将在后面的实例中详细介绍

2. 使用集群软件实现 Cluster

这个的实现方式主要也是上面提到的 Microsoft Cluster Server(MSCS) 和 Symantec Veritas Cluster Server。

DB的高可靠性环境简介

FileNet 主要支持的数据库有 IBM DB2, Oracle ,Microsoft SQL Server。

以下是 FileNet 系统中常用的数据库产品的集群配置有：

IBM DB2® UDB 和 Veritas Cluster Server

Oracle 和 Veritas Cluster Server

Oracle Real Application Clusters (RAC).

SQL Server 和 Microsoft Cluster Server (MSCS)

实例：WAS+DB2+FileNet 4.5 环境

以下假使部署服务器已经安装好了，在此基础上以两个节点为例来创建一个基于 WAS 的高可靠性环境。

WebSphere 配置集群

为 CE 创建一个节点应用服务器：

图 7. 选择应用服务器

查看原图（大图）

图 8. 定义节点名称和主机名

查看原图（大图）

图 9. 默认操作系统认证

查看原图（大图）

如上相同的步骤，创建另一个 CE 节点应用服务器。

将两个节点添加到部署服务器

例如 ： <was-install>/profiles/AppSvr01/bin/startServer.bat server1

图 10. 启动一个节点服务

查看原图（大图）

例如：<was-install>/profiles/AppSvr01/bin/addNode.bat <DM Server name> <DM soap port>

图 11. 将节点增加到部署服务器

查看原图（大图）

重复上述步骤，将另一节点增加到部署服务器。

图 12. 查看部署服务器管理控制台，两个节点以被加入

查看原图（大图）

创建集群

打开部署服务器管理控制台，选择：服务器 -> 集群 ，点击“新建”按钮。

图 13. 输入集群名称


图 14. 定义集群成员，并选择节点

查看原图（大图）

图 15. CEnode1 在节点 1 上，CEnode2 在节点 2 上

查看原图（大图）

图 16. 验证集群创建（集群拓扑）

集群环境下安装配置 CE

（安装步骤请参照 CE 的安装文档，由于不涉及到高可靠性 HA 问题，在此不做详述）。

集群环境下配置部署 CE

使用配置管理器（Filenet Configure Manager）来配置 CE

图 16. 创建配置文件

查看原图（大图）

图 17. 选择应用服务器

查看原图（大图）

图 18. 部署类型选择：cluster

查看原图（大图）

集群环境安装 PE

当前，PE 集群仅支持硬件负载均衡环境，还不支持负载均衡软件的环境。在生产方案中，大多数采用 F5 作为负载均衡器，下面例子是一个 3 节点的 PE Farm 配置过程。

首先按照安装手册，正常安装其中一个节点。在创建 PE 的 Region ID 过程中，选择 PE Server 的地址为 F5 的地址。 如下图，F5 的网络地址是 192.168.1.56，hostname 是 LBVIP。

图 19. 创建 PE 的 Region ID

使用刚刚创建的 Region ID 创建一个 Connection Point。

图 20. 创建一个 Connection Point

在 PE 的 Process Task Manager 中，配置负载均衡地址。

图 21. 配置负载均衡地址

查看原图（大图）

图 22. 配置负载均衡地址图 2

查看原图（大图）

然后在每个 PE 的节点上，编辑 hosts 文件，使各个节点和 F5 设备之间可以互访。

　PE1:　
　192.168.1.200　HQPSIPE1　lbvip　HQPSIPE1-filenet-nch-server　
　192.168.1.201　HQPSIPE2　HQPSIPE2-filenet-nch-server　
　192.168.1.202　HQPSIPE3　HQPSIPE3-filenet-nch-server　
　
　PE2:　
　192.168.1.201　HQPSIPE2　lbvip　HQPSIPE2-filenet-nch-server　
　192.168.1.200　HQPSIPE1　HQPSIPE1-filenet-nch-server　
　192.168.1.202　HQPSIPE3　HQPSIPE3-filenet-nch-server　
　
　PE3:　
　192.168.1.202　HQPSIPE3　lbvip　HQPSIPE3-filenet-nch-server　
　192.168.1.200　HQPSIPE1　HQPSIPE1-filenet-nch-server　
　192.168.1.201　HQPSIPE2　HQPSIPE2-filenet-nch-server　

网络配置好后，通过下面的方法检验负载均衡是否工作正常。

http://192.168.1.56:32776/IOR/ping( 每执行一次，可以看到使用三个节点中的一个节点。)

也可以通过下面的地址进行验证。

http://192.168.1.56:32776/IOR/FileNet.PE.vworbbroker

还可以登录到 F5 的管理控制台上查看各个节点的工作情况 :

图 23. F5 的管理控制台

查看原图（大图）

集群环境下安装配置 AE

( 安装过程除如下特别步骤，请参见 AE 安装文档，本文不做详述 )。

创建集群

（步骤同 CE 集群）

分别安装 AE 在每个节点所在的服务器上（考虑到 router 无法通过控制台统一部署）

图 24 . 设置 CE 的 failover URL

查看原图（大图）

（cemp:iiop://CENode1:9810,CENode1:9810/cell/clusters/CECluster/FileNet/Engine）

图 25 . 设置共享配置路径在 RAID 或其他 HA 存贮设备

查看原图（大图）

图 26. 共享 AE 上传路径

查看原图（大图）

图 27. 共享下载路径

查看原图（大图）

图 28. 共享日志存储路径

查看原图（大图）

安装完后会在目录下生成 ear 包如：

图 29. ear 包路径

查看原图（大图）

部署 AE 在集群环境

打开 websphere 管理控制台，“应用程序 -> 安装新的应用程序“, 选择 上面安装后生成的 ear 包：app_engine.ear。

部署过程中指定应用服务器，应当选择前面创建的集群：AECluster， 其他步骤默认即可。

图 30. 部署 AE

查看原图（大图）