WEB开发网
开发学院数据库DB2 灵活有效的数据仓库解决方案,第3部分:设计并实现... 阅读

灵活有效的数据仓库解决方案,第3部分:设计并实现仓库ETL过程

 2010-05-14 15:00:27 来源:WEB开发网   
核心提示:数据仓库的性能调优数据仓库是系统、网络配置、应用程序、数据库、报表和人员的集合,数据仓库的性能受所有这些因素的影响,灵活有效的数据仓库解决方案,第3部分:设计并实现仓库ETL过程(13),这一节将关注如何从终端用户的角度寻找数据仓库的性能问题,该意味着从查询工作负载和响应时间的角度查看问题,仓库组是仓库用户和权限的命名

数据仓库的性能调优

数据仓库是系统、网络配置、应用程序、数据库、报表和人员的集合。数据仓库的性能受所有这些因素的影响。这一节将关注如何从终端用户的角度寻找数据仓库的性能问题,该意味着从查询工作负载和响应时间的角度查看问题。

数据仓库上的工作负载很少保持不变。新的用户带来了他们自己的需求类型,现有的用户修改他们的焦点,并且常常改变其研究深度,业务周期呈现其自己的峰值和谷值类型,在大多数情况下,数据仓库随着它存储数据跨越更长时期而进行扩展。

索引的使用在只读的数据仓库中将更加自由,因为索引是为了高效的数据检索而定义的。索引应根据数据仓库决策支持环境中的访问模式和查询需求来进行优化。

随着数据仓库上的需求发生改变,一些索引成为无用的,而需要创建其他索引,一些聚集不再被引用,而其他的则需要进行评估,必须对并行处理上的限制进行评估和调整,以满足当前需求。这些任务和其他调优任务都将定期执行,以确保查询性能满足业务需求。

查询性能的评估和调优最接近于包含了一系列连续改进的进行过程。每次改进都是从对于分组查询的较差响应时间的抱怨或观察开始的。

在执行查询调优任务之前,您需要知道有问题的查询的期望响应时间。为了刻画工作负载,您必须整理查询,将其组成家族,然后确定它们在处理时间、I/O 请求、内存需求、网络数据信息量(如果可适用)等方面的资源需求。期望的查询响应时间是基于对查询工作负载特性的评估而估算的。

一旦知道了期望的响应时间,并且测量了查询的当前响应时间,就可以按照下列方法定期调优数据仓库:

分析监控的响应时间,以确定它们是否满足期望的响应时间。

当查询无法满足响应时间目标时,考虑进行调优:

设置系统和数据库的性能监控,收集数据和分析监控的响应时间信息以寻找瓶颈。

记录产生最大乃至最小影响的性能决定因素的列表,以进行相应的调整。

确定哪些查询仍然无法满足响应时间目标。数量应该很少。使用 DB2 Query Performance Monitor 为这些查询开发详细的概要文件和动作计划。该动作计划很可能将包含性能权衡(trade-off),这些权衡可能导致其他的资源瓶颈。

继续调整系统和数据库,直到所有查询都½满足其性能目标。

数据仓库的安全性

数据仓库包含秘密的和敏感的业务数据。在进入稍后的数据仓库设计阶段之前,数据仓库的安全性常常被忽略。随着其中涉及了更多数据源或业务主题领域,数据仓库安全的复杂性也在增加。不同的数据源通常具有不同的安全性需求或用户,因此为集成的仓库数据定义数据访问可能十分困难。幸好 DB2 数据库系统和 DB2 Data Warehouse Center 提供了极其广泛的数据访问安全性服务,这使得维护数据仓库的安全性变得更容易。

您需要在数据仓库安全性设计中考虑许多因素:

数据访问:数据仓库是为了决策支持的传递而创建的;终端用户只是从中挖掘信息。对于数据仓库中数据的访问是只读性的。

终端用户:知道谁将使用数据仓库将指导仓库的设计。如果授权终端用户访问仓库中的所有数据,则只需要设置一个系统或数据库组来访问数据仓库即可。然而,在实际的业务世界中,不是每位终端用户都被允许访问所有的业务数据,不同的终端用户被授权访问仓库中不同的数据子集。

数据分析方法:有几种从数据集市中生成报表的方法,其中包括标准化的业务报表、即席 OLAP 报表和数据挖掘。对于标准化的报表,在允许终端用户访问一组预先定义的报表时,安全性易于实现。对于即席 OLAP 和数据挖掘报表,安全性很可能通过将数据库级别的数据集市或数据集市子集分配给用户组来实现。

性能:限制性的安全性计划是按不同的方式以牺牲性能为代价得到的。找到安全性和性能需求之间的平衡十分重要。

数据仓库设计:数据安全性本身就是数据仓库设计中的重要问题。该解决方案中两层的数据仓库设计假设终端用户将仅仅访问数据集市中更加用户友好的数据,而非数据仓库中复杂的数据结构。这极大地简化了数据仓库终端用户的安全性,因为数据集市通常是为特定的部门或与用户组定义的。

数据仓库工具:DB2 Data Warehouse Center 安全性结构是与数据库和操作系统的安全性相分离的。该结构包含仓库组和仓库用户。通过属于某一仓库组,用户可以获得对 Data Warehouse Center 对象的权限和访问。仓库组是仓库用户和权限的命名分组,它授权用户执行功能。仓库用户和仓库组不需要与为仓库控制数据库所定义的数据库用户和数据库组相匹配。

上一页  8 9 10 11 12 13 14  下一页

Tags:灵活 有效 数据

编辑录入:爽爽 [复制链接] [打 印]
赞助商链接