为 InfoSphere Warehouse 提供实时数据的高效解决方案

核心提示： Q 复制一个高吞吐量低延迟的方案，它不用中间表来存储已经提交的事务性数据，为 InfoSphere Warehouse 提供实时数据的高效解决方案(3)，而是捕获对源表的更改并将已提交的数据转换为消息，即用 WebShpere MQ 消息队列在源和目标数据库间传送数据，无需手工编码便可快速开发

Q 复制

一个高吞吐量低延迟的方案，它不用中间表来存储已经提交的事务性数据，而是捕获对源表的更改并将已提交的数据转换为消息，即用 WebShpere MQ 消息队列在源和目标数据库间传送数据。它的架构如图 2 所示：

图 2. Q 复制架构图

查看原图（大图）

Event publisher（EP）

不同于 Q 复制，EP 不需要启动 apply 程序，捕获对源表的更改并将已落实的事务性数据转换为“可扩展标记语言”（XML）格式或定界格式（CSV: comma-separated value）的消息，以供用户直接从接受队列读取消息。在本文中，我们将利用 EP 的这个特点和 DataStage 整合为数据仓库提供实时高效的数据。它的构架如图 3 所示：

图 3. EP 架构图

查看原图（大图）

IBM InfoSphere DataStage 简介

IBM InfoSphere DataStage 是一款强大的基于图形化界面的 ETL 工具，它可以从多个不同的业务系统，多个平台的数据源中抽取数据、转换数据、装载数据到各种目标系统中。它有如下特点：

基于图形化的开发环境，无需手工编码便可快速开发 ETL 作业，实现复杂的数据合并和转换逻辑。并且可以在开发新的作业时快捷的重用已有作业中的逻辑。