优化数据转换

核心提示：世界各地的企业需要在应用程序之间频繁地转移大量数据，这些数据转移的共同点是希望让人们更好地查看和控制数据，优化数据转换，这还不仅仅是应用程序之间的数据转移，数据仓库、主数据管理、分析和业务智能化都需要完成大量数据集成任务，也就是先把数据交付给数据库，然后把数据放到更多表中，从而执行批处理、微型批处理和实时处理， 除了对

世界各地的企业需要在应用程序之间频繁地转移大量数据。这些数据转移的共同点是希望让人们更好地查看和控制数据。这还不仅仅是应用程序之间的数据转移。数据仓库、主数据管理、分析和业务智能化都需要完成大量数据集成任务，从而执行批处理、微型批处理和实时处理。

除了对数据集成的需求不断增加之外，数据量也在增长。公司不断合并和整合非常大的数据库，以便创建更大的客户和产品列表。网络造就了一大批企业，他们每周要记录和跟踪的客户活动达到几十亿次的规模。

如何处理数量快速增长的数据源？

人们往往倾向于使用他们熟悉的技术，而转移数据的最常用方法是使用数据库和编程语言。这些在几乎每个企业中都存在，大多数 IT 人员都曾经使用过它们。我甚至听说有专门讨论它们的杂志。

这种方式似乎不错；但是当您意识到需要支持十几种不同的语言时，就不会这么想了。当您开发一个大型数据集成项目（比如数据仓库）时，会发现现有的接口是用许多不同的产品构建的，程序员很难理解代码或数据的含义。

为了解决数据集成问题，引入了提取、转换和装载 (ETL) 工具。 IBM 最好的 ETL 工具是 IBM InfoSphere DataStage，它是 IBM InfoSphere Information Server 的一个产品模块。它很容易使用，用户可以在设计器中通过拖放元数据以数据流的方式构建接口。大多数转换阶段需要配置一些属性，但是不需要编写代码。它可以处理几乎所有元数据；可以生成数据关系报告和执行影响分析，还可以搜索和浏览元数据。

但是，这种简易的数据集成有一些问题。首先，ETL 采用 “提取、转换和装载” 这种标准模式。它可以出色地执行每个步骤，但是有时候需要 ETLT —— 也就是说，在把数据交付给数据库之后，还需要一个转换步骤。有时候需要 ELT，也就是先把数据交付给数据库，然后把数据放到更多表中。有时候需要 TETLT 或 TELT... 什么样的情况都可能出现。