数据集成的挑战

核心提示： ◆以数据集成必需的格式来获取数据的过程，最终变成了一个充满组织权力游戏的缓慢而曲折的过程，数据集成的挑战(3)，◆清理数据以及从多种源将数据映射为一种连贯的、有意义的格式极其困难，◆标准的数据集成工具往往不能提供足够的功能或可扩展性来满足项目的数据转换要求，要求公司保持清晰的审计线索，仅保

◆以数据集成必需的格式来获取数据的过程，最终变成了一个充满组织权力游戏的缓慢而曲折的过程。

◆清理数据以及从多种源将数据映射为一种连贯的、有意义的格式极其困难。

◆标准的数据集成工具往往不能提供足够的功能或可扩展性来满足项目的数据转换要求。这可能会导致需要对为了完成任务而开发特殊ETL代码所发生的咨询费用支付巨额金钱。

◆公司的不同部门都在关注数据孤岛中的数据集成问题。

当需要集中解决这些问题时，这些数据集成方面的努力所引起的额外费用将会纳入全企业范围的数据集成体系结构。

随着组织发展过程中对数据入库和商业智能需求的增加，有缺陷的数据集成体系结构将变得越来越难以维护，总体拥有成本也会激增。

这种企业必须持续集成数据。但是，实际的批处理窗口操作时间和滞后时间总会超时数分钟。许多这种情形下的决策过程是使用持续运行的软件自动完成的。

面对不允许有任何停机时间的业务需求，可扩展性和性能变得越来越重要。

如果没有适当的技术，那么在入库和集成处理的每个步骤，系统几乎都需要分段处理。由于在提取、转换和加载（Extract, Transform and Load， ETL）的处理中需要合并不同的（特别是非标准的）数据源，而且需要执行更复杂的操作（如数据挖掘和文本挖掘），这加大了对数据分段处理的需要。举例来说，在图 1 中，由于进行分段处理，使“关闭循环”（即开始分析并处理新数据）进程所用时间也相应增加。这些传统的 ELT 体系结构（与加载之前发生的增值 ETL 进程相对）为应对新出现的业务需求，对系统能力施加严格的限制。

图片看不清楚？请点击这里查看原图（大图）。　

图一

日益增加的全球性法规需求，要求公司保持清晰的审计线索。仅保持数据可靠是不够的，还需要数据能够被跟踪和验证。