Sybase数据仓库技术在中国联通经营分析系统中的应用

应用背景

中国联通拥有全国范围内相当规模的公用电信网，经营多种基础电信业务和增值电信业务，形成移动(GSM、 CDMA)、193 长途、VoIP、165(互联网与电子商务)、寻呼、市话、增值业务等多种业务并存和共同发展的格局。如何发挥联通的综合优势，实现灵活多变的市场营销策略，为客户提供更具有针对性的满意服务; 同时最大限度使自己的资源得到合理配置和优化，降低运营成本，以增强联通的核心竞争力，成为当前迫切需要解决的问题。在此过程中，市场策略的应对速度是保持竞争力的重要手段，而市场应对策略的制定需要丰富、真实、及时的经营信息提供支持。海南联通，在中国联通总部的统一规划下，采用Sybase 公司的数据仓库产品，建设完成了统一经营信息服务子系统。

海南统一经营信息服务子系统以查询 / 统计型经营数据为核心，其数据源于服务支撑系统中各生产子系统中数据(包括电子与手工数据)，通过信息展现(包括提供数据接口访问方式)为企业的其它系统提供客户和业务分析层面的经营信息服务，包括统计及分析、决策支持等，如为 ERP 系统中用于企业管理的经营统计信息提供数据来源。

应用需求

众所周知，电信行业的数据堪称为海量数据，对数 据库、数据仓库管理软件的要求极高，主要体现在对海量数据的存储能力和处理的速度要求。本系统数据仓库领域的应用，需要保存，处理大量的历史数据，其中以 CDR 详单的数据量为最大。为了适应此需求，立为通信软件有限公司建议海南联通选用了专业的数据仓库管理软件SybaseIQ12.5 来构建企业经营信息的数据仓库系统。

系统方案

统一经营信息服务系统由数据采集模块、数据仓库生成模块、数据仓库接口模块、总部数据文件生成模块、报表生成模块、元数据管理模块、系统管理模块及系统的信息模型组成。其中，系统的信息模型指导着整个产品的构建和运行过程。中国联通统一经营信息服务系统的总体结构如下图所示:

图表: 统一经营信息系统系统结构图

下面分别对系统各功能模块和系统信息模型说明如下:

系统信息模型: 本产品信息模型包括四部分，分别是:

(1) 数据仓库维表、事实表等数据仓库(DW)信息模型;

(2) 系统管理信息模型，例如: 系统用户表、用户权限表等;

(3) 操作数据存储(ODS)信息模型;

(4) 元数据信息模型。

数据采集模块:定义外部业务操作系统为本产品中ODS提供原始数据的内容和格式，外部业务操作系统将原始数据传送到产品指定的数据缓冲区内，数据采集模块按照调度规则和格式规约从中采集数据，将这些数据放入 staging area (临时数据交换区)中，作为 ODS 的数据源。

数据仓库生成模块: 数据仓库生成模块完成两次 ETL过程，第一次从 staging area 中将业务数据 ETL 到OD中，第二次根据数据仓库定义的维和维层次的定义，ODS中轻度综合的业务数据进行不同粒度的综合并导入到数据仓库中。

数据文件传输模块: 本系统对外提供两种经营信息访问接口: 一种是根据外部数据需求格式规约生成接口数据文件，由数据文件传输模块完成系统与外部统计分析应用系统之间的数据传递; 另一种是在产品对外提供数据仓库元数据的基础上开放数据仓库连接的方式。为了保持总部和省分公司经营信息服务的一体化，本产品封装了省分公司经营信息服务与联通总部的数据接口，根据总部数据要求，制定抽取规则，从数据仓库中抽取相应数据封装成接口数据文件，由数据文件传输模块定期向总部发送。

数据仓库连接管理模块: 产品在对外提供数据仓库元数据的基础上向外部统计分析应用系统开放数据仓库连接，供外部系统使用数据仓库中的数据，数据仓库连接管理模块对外部系统访问数据的权限进行控制。

系统管理模块: 主要包括数据存储的管理、数据采集的管理、数据仓库生成的管理(两次 ETL 规则管理、数据更新调度管理等)、数据传输的管理、元数据管理、日志管理和安全管理。

报表生成模块: 该模块功能包括报表数据生成、报表生成、报表发布。将从数据仓库 /ODS 中抽取的数据，生成 / 更新统计型报表数据;生成 / 更新立方体并将用于 OLAP 分析的立方体发布。

报表查看模块: 系统允许授权用户通过WEB或客户端从远端查看需要的报表信息，并且允许进行在线的数据分析和综合; 包括用户浏览权限验证、报表展示等。