优化数据转换
2009-11-16 00:00:00 来源:WEB开发网分析数据也可以一直放在数据库中。 InfoSphere DataStage Balanced Optimization 会找出需要一直放在数据库中的数据,并将它移动到临时表进行转换。它会从外部获取数据(人口统计学类别或报告层次结构等引用数据),并与主数据合并以生成分析模型。
益处
InfoSphere DataStage Balanced Optimization 提供一种新的数据集成方法:这种软件工具起到顾问作用,帮助那些不太了解高级并行处理和数据库优化的开发人员生成可伸缩的 ETL 作业和数据库转换代码。可以在 InfoSphere DataStage Balanced Optimization 中创建和对比场景,这可以降低使用多个服务器、多种平台和多种技术的复杂性,帮助处理日益增长的数据集成量。
附录
1. InfoSphere DataStage 的好处
InfoSphere DataStage 提供一个 GUI 设计器,用户可以以数据流图的方式构建接口。这个直观的设计器可以显著简化和加快接口的构建和修改。
此工具是元数据驱动的,允许把各种元数据导入和拖放到数据流中。可以浏览和搜索作业中的所有元数据,可以在作业之间和跨产品链接元数据。
对于不同的数据库类型,它使用外观和感觉相似的数据库连接器。即使您不太了解源数据库或目标数据库产品,仍然可以通过装载适当的元数据并设置连接属性来使用它。 InfoSphere DataStage 可以生成 SQL 代码,而 InfoSphere DataStage Balanced Optimization 可以创建 SQL 步骤。
在幕后,InfoSphere DataStage 采用一个强大的并行处理体系结构,可以把数据分布在大量服务器、集群或网格节点上处理,甚至可以使用 zLinux 大型机。
2. InfoSphere DataStage Balanced Optimization 的工作方式
开发人员构建一个普通的 InfoSphere DataStage ETL 作业 —— 一个添加了元数据并设置了一组属性和映射的数据流:
InfoSphere DataStage Balanced Optimization 查看此作业,发现数据源是一个数据库,判断作业的一些步骤是否可以在源数据库中更高效地执行。它对目标数据库做同样的研究,然后提供此作业的新形式:
在作业的新版本中,一些转换和表合并步骤在源数据库中执行,代码查找步骤被转移到目标数据库中。
开发人员可以修改优化器设置,并对比它创建的不同版本的作业:
更多精彩
赞助商链接