优化数据转换

核心提示： 第二个问题是，人们（和组织）实际上热衷于数据库和编程语言，优化数据转换(2)，而且在数据库和编程语言上已经投入了大量时间和资金，即使在实现 ETL 工具之后，与当前的 SQL 语句不同，在从数据库中提取数据之前，仍然有人在 ETL 工具之外编写数据集成代码 —— 尤其是在

第二个问题是，人们（和组织）实际上热衷于数据库和编程语言，而且在数据库和编程语言上已经投入了大量时间和资金。即使在实现 ETL 工具之后，仍然有人在 ETL 工具之外编写数据集成代码 —— 尤其是在数据库代码中。这些 ETL 之外的步骤最初看起来似乎不错 ... 但是以后常常会变成麻烦，因为当需要更新接口时，需要数据库程序员和 ETL 程序员同时参与。数据关系不再是无缝的，无法评估以后的工作。

图 1. IBM InfoSphere DataStage Balanced Optimization

通过使用 IBM InfoSphere DataStage Balanced Optimization，开发人员可以使用标准模式构建一个 ETL 作业，然后 “优化” 此作业，研究通过在数据库中运行此作业的部分工作是否会提高性能（图 1）。这个工具可以把数据流的一部分转换为数据库操作，比如 SQL 转换命令、联结、查找、合并、聚合、插入、更新、临时表和大批量 I/O 命令。它还能够把代码放进 DB2 或 Teradata 中。

在数据源中执行转换

对于节省时间、资源和带宽最有效的方法是，减少需要处理的行数。 InfoSphere Information Server 的 IBM InfoSphere Change Data Capture 模块（此产品以前称为 DataMirror）可以把修改后的数据交付给 InfoSphere DataStage 以减少处理的数据量。 InfoSphere DataStage Balanced Optimization 有助于把活动转移到源数据库中，这也可以减少数据量。如果它在作业中发现过滤器或约束，就可以把它们转移到数据库中执行，从而在向 ETL 引擎交付数据之前过滤数据。与当前的 SQL 语句不同，在从数据库中提取数据之前，它可以使用多个步骤和临时表准备和减少数据。