SQL Server 2008新特性之数据仓库可扩展性(2)

核心提示： 在SQL Server 2008中，Lookup组件推出了不匹配缓存(miss-cache)特性，SQL Server 2008新特性之数据仓库可扩展性(2)(3)，当这个组件配置为直接对数据库进行查找时，不匹配缓存特性通过可选地将在参考数据集中的不匹配入口键值加载进缓存从而节省了时间，即

在SQL Server 2008中，Lookup组件推出了不匹配缓存(miss-cache)特性。当这个组件配置为直接对数据库进行查找时，不匹配缓存特性通过可选地将在参考数据集中的不匹配入口键值加载进缓存从而节省了时间。例如，如果这个组件从进来的管道得到值123，但是Lookup组件已经知道在参考数据集里没有匹配入口，这个组件将不会再在参考数据集里查找123。这降低了到数据库中的一个多余而又昂贵的旅程。这个不匹配缓存特性在某些场合下可以将性能提高40%。

其它对Lookup组件的改进之处包括：

◆优化的I/O路径使得缓存加载和查找操作更快速。

◆更直接的用户界面，简化了Lookup组件的配置，特别是缓存选项。

◆输入中不匹配至少参考数据集中的一个入口的记录会被发送到不匹配输出。错误输出只处理错误，例如截断。

◆在查找转换中的查询语句可以在运行时做更改，使得编程转换更加灵活。

◆改进了信息和错误消息来帮助故障排除和性能分析。

下图描述了一个使用这个新Lookup的场景。

图6: Lookup场景

数据流1从一个定制源组装了一个缓存连接管理器(Cache Connection Manager，CCM)，然后数据流2使用相同的CCM来组装lookup的缓存。这个图片还显示了Lookup组件3个输出的使用。

4.2 管道性能

在SQL Server 2008 SSIS 中，几个线程可以一起协作进行在SQL Server 2005 SSIS中要求一个单独线程自己进行的工作。这使你的ETL性能可以提高几倍。

在SQL Server 2005 SSIS 中，管道并行是非常粗糙的。当用户有一个简单的包，其中具有一个或两个执行树时，只会使用一个或两个处理器，并且这个包可能不会获益于具有几个处理器的多处理器机器。即便是用户使用多点传送将数据流逻辑上分割，一个多点传送的所有输出路径页属于同一个执行树，并且它们由SQL Server 2005 SSIS数据流任务连续执行。