Sybase数据仓库解决方案在贵州电信的应用
2008-05-16 15:10:14 来源:WEB开发网数据存储与管理IQ
数据仓库的存储可以选用多维数据库,也可以选用关系型数据库或其它特殊的存储方式。数据的存储要保证数据的安全性、完整性、一致性,同时还要具有复杂的分析查询的高效性。
Sybase的数据仓库产品 Sybase IQ 。IQ 是一个关系型数据库,为高性能决策支持和数据仓库的建立而进行了优化。IQ 中的关键技术是纵向数据存储(通过列而不是通过行来进行)、Bit-Wise 查询索引、数据压缩和 Multiplex 技术。使数据仓库应用拥有卓越的查询性能与最低的总拥有成本。
带压缩的列存储
适合决策处理中的很多查询只需要很少量的列数据。
按列存储数据时由于相邻的字段值具有相同的数据类型,所以使 Sybase IQ 更容易对数据做压缩处理。
增加列时不会引起数据库结构的改变。
IQ 比典型传统数据库引擎少做超过 10-100 倍的磁盘I/O。
独特的索引结构
专利的比特式索引及相应的压缩技术是Sybase 的一项专利。
Sybase IQ中对所有的列至少进行一次索引化,由此不仅带来查询效率的大幅提高,而且还降低了对磁盘空间的使用。IQ所需的磁盘一般只占原始输入数据所需空间的40%- 60%,而且,查询速度会比传统的数据库引擎数以千倍的提高。
灵活性
Sybase IQ支持任意类型的查询。存取方法只与数据有关而与查询无关,因此正确的数据结构在数据加载时就能够预期得到。因此,数据仓库的用户可以随心所欲地提出查询要求而无须数据库管理员作任何干预。
可扩展性
Sybase IQ 还使企业在处理能力上拥有极大的伸缩性,用户可以从一个小型的数据仓库开始,扩展到大型的数据仓库。也可以从大型开始扩展到超大型的数据仓库。
IQ是一个新的并行数据库架构,支持无限的用户访问数据仓库,它与单节点的 IQ 一样简单,能够将系统扩充到数百个节点而不需要对应用或 DBA 控制程序做任何的修改,并且不需要中断系统的运行。在各种并行数据库中, IQ是唯一的能够在同一个环境中混合使用不同架构(包括 CPU 和操作系统)节点的并行数据库。IQ 也是唯一的在流行的应用软件中预先包装好性能和扩展性的数据仓库。
数据仓库设计工具PowerDesigner
从设计一开始,利用PowerDesigner的 WarehouseArchitect,很直观地设计数据仓库模型对象。然后, WarehouseArchitect可生成加载数据仓库的脚本,甚至能够直接向商业应用提交它们所需的信息。这样,客户就可以立即与数据仓库交互了。由于 WarehouseArchitect 既支持关系模式,也支持星型模式,还支持聚集,所以无论设计者所面临的业务需求多么复杂,都可以从 Warehouse Architect 得到强有力的工具支持。
数据转换与集成PowerCenter
在进行数据仓库的建立时,最大的挑战之一是如何将 原始业务数据转化为一致的格式,使之更好地为决策支持 服务。这包括对已有数据的准确性和一致性进行检验、净 化,将数据进行转化、提取、转换、装载到数据集市或数 据仓库以及对其进行定期更新和管理。PowerCenter作为数据抽取工具,从各种异够的数据源中抽取数据,在数据抽取过程,用户可以根据不同的抽取阶段,灵活定制各种数据抽取流程,并定时地将数据加载到数据仓库中。
PowerCenter是一个集成的软件产品套件,用于建造和管理数据集市和分析应用。PowerCenter 交付了一个开放的可伸缩的解决方案,主要定位于数据集市完整的生命周期和分析应用开发及产品化的管理,能够支持多种平台上快速变化的大量数据作为数据来源,进行复杂的转换处理以及支持高速的数据加载。其metadatarepository能够协调并驱动一系列的核心功能,包括抽取、转换、加载和管理等。
PowerCenter 的图形化用户接口帮助数据仓库管理人 员很容易的设计复杂的 source-to-target 的映射,然后可以由 PowerCenter 强大的服务器来自动地执行。
更多精彩
赞助商链接