SQL Server 2008集成服务详解

核心提示： • 它们需要清理和删除重复数据，否则就加强数据质量，SQL Server 2008集成服务详解(2)，• 逐渐增加的全球调整性需求要求公司维护清晰的审查跟踪，只维护可靠数据是不够的;还需要跟踪和验证数据，这不再成为可能了，现在全球有些地方几乎没有当机时间，2. 数据集成

• 它们需要清理和删除重复数据，否则就加强数据质量。

• 逐渐增加的全球调整性需求要求公司维护清晰的审查跟踪。只维护可靠数据是不够的;还需要跟踪和验证数据。

2. 数据集成的挑战

某一层面上，在我们实际场景中数据集成的问题是非常简单的。从多个数据源获取数据、清理和转化数据、并将这些数据加载进适当的数据存储以用于分析和生成报表。不幸的是，在一个典型的数据仓库或商业智能项目中，企业在数据集成方面花费了60–80%的可用资源。为什么它这么困难呢?

2.1 技术挑战

技术挑战始于源系统。我们正从在事务上收集数据(用户提交以获得、购买或获取某些东西)转移到在事务之前收集数据(使用像Web点击或RFID标签之类的机制跟踪客户意愿)。现在数据不只是通过传统的源和格式获得——例如数据库和文本文件，还逐渐地可从多种不同的格式(从私有文件到Microsoft Office文档到基于XML文档)以及从基于网络来源——例如Web services和RSS流中获得。最相关的挑战是：

• 不同格式的多种来源。

• 结构化的，半结构化的，以及非结构化的数据。

• 从不同来源系统而来的数据到达的时间不同。

• 数据量巨大。

在理想情况下，不管你怎样管理以获得一次所需的所有数据，都会要面临新的挑战，包括：

• 数据质量。

• 使用不同的数据格式。

• 将数据转换为业务分析可用的格式。

假设你可以神奇地获得你需要的所有数据，并且你可以将这些数据清理、转化并匹配成一个有用的格式。还有另一种从传统数据移动和集成的方法。那就是从固定长度的面向批量处理转到可变长度和更短的按需处理。大多数公司在用户没有对系统有大需求的“当机”期间执行面向批量处理。这通常是在晚上认为没有人在办公室的时候，执行一个预定义的批量窗口，大概要6-8小时。随着全球商业的规模和类型的不断增加，这不再成为可能了。现在全球有些地方几乎没有当机时间，而且办公室里总是有人。