Sybase海量数据存储、访问及管理简介
2008-05-16 15:10:57 来源:WEB开发网Sybase VLDS国内外成功案例
以下为2005年Sybase VLDS排名前10名的应用。表格中列出了裸数据存储大小,以及在Sybase IQ中数据库大小,这充分验证了IQ具有强大的数据压缩能力,没有数据膨胀。同样的裸数据大小,在其他传统的关系型数据库中,将有2-11倍的数据膨胀。
部分国内外VLDS的客户应用介绍:
1. Telefonica Spain(西班牙电信)
Telefonica西班牙及拉丁美洲地区领先的电信运营商,西班牙第一家上市公司,也是电信业主要的全球化企业之一 ,全球拥有8200万客户,在16个国家拥有分支机构。拥有4500万固定线路(西班牙2100万),3600万移动电话 (西班牙1800万) ,100万付费电视用户(西班牙80万)。Telefonica经过对各家数据库产品进行基准测试后,采用了Sybase DODS解决方案,成功地将数十个各自独立的信息系统的海量数据准实时集中存放在ODS架构中,实现了在最优的存储和维护成本下获得了最好的性能的目标。
2. ComScore-一家新生代信息服务公司
ComScore需要监控分别来自美国六个不同的主干网,七个重要要城市的网络点击流。基于Internet的客户数往往是难以控制的,且常常是非常大量的(有时候会达到百万数量级),这就导致有大量的数据需要收集,ComScore如今每周需要处理600万条新纪录,约300GB数据,全部数据达到了60TB,在IQ中存储只占用20+TB。
3. Nielsen Media Research
总部位于佛罗里达州达尼丁市的 Nielsen Media Research 是全球范围内电视观众测评及相关服务的主要提供商。可想而知,随着这种调研工作的不断扩大和深入,Nielsen Media Research 的数据量也变得十分庞大,而且已经成为了企业的生存命脉。
Nielsen 客户提交的请求往往不是订单处理,而是集中在海量数据的提取上,因为客户需要这些数据进行分析。而每一条请求都包含数十页,甚至数百页的SQL 语句。如果采用传统的关系型数据库,I/O 负载将会非常重。如今,采用Sybase的IQ Multiplex 后,不仅解决了问题,而且能够随时对CPU进行调整,最高速率保持在每小时600GB,这个速度不会给SAN 磁盘的I/O造成过重的负担,随着数据量的增长,可以通过添加更多的CPU,以保证系统的顺利运行。
4. Korea Chohung Bank-韩国朝兴银行
2000 年1 月,朝兴银行 (CHB)完成了韩国第一个企业数据仓库(EDW) 和基于Web 的市场数据库系统的开发工作。CHB将EDW用作集成交易数据和客户所有相关信息的数据存储单元。包含在EDW中的客户和交易信息每天都会更新,供CHB内部各独立业务单位‘数据集市’中的大约700 名用户(如用于管理收益、信贷和风险的集成系统)使用。
5. 广东电信海量数据分析系统
广东电信需求主要特点就是数据量庞大,广东公众多媒体通信网拨号用户总数已达到70万。根据业务需求分析,广东省163/169网到2002年底的用户总数将达到800万以上,其中拨号注册用户达400万,主叫用户300万,卡用户100万,专线用户也将达到1万户以上。在这些大量的数据背后隐藏着许多重要的信息。另一方面,广东电信业务结构复杂,系统的最终用户的需求不尽相同,业务策略不断变化。广东电信经过多方测试比较,最终在广东视聆通和福建163网,广东省新一代的多媒体网综合业务管理系统,广州电信市场经营分析系统等多个系统中采用了Sybase VLDS解决方案。
6. 广东移动IP网管系统(2006年IQ数据量达到30+TB)
广东移动是中国领先的移动运营商,其CMNET是中国移动集团内规模最大的省级IP网络,具有网络规模大、设备种类多、业务开展丰富等特点。广东移动业务系统的IP网络管理系统,每日数据行数巨大,仅WAP业务一项,目前每天超过9亿行(ROWS),每日数据增量在800GB,且保持着相当高的增长速率,在大量数据持续加载到数据库的同时还需要做大量的汇总计算工作。该系统经过9个月的运行,验证了在移动IP网管领域,采用Sybase VLDS解决方案能够满足移动要求的支持海量数据存储和业务管理发展需要,项目一期实现了多个业务系统数据的实时装载、小时分析、日分析。在存储方面,实际磁盘开销低于原始数据文件的大小,在充分满足查询需求的基础上,很好的控制了空间的膨胀,降低了存储代价。
7. 交行总行历史数据存储与查询系统(5+TB)
交通银行总行历史查询数据量在不断增加,尤其在实现个人历史数据查询功能后,数据量更加急速增长,达到5TB。交行总行历史数据查询系统采用了Sybase IQ数据库作为其VLDS方案后,又考虑到历史查询系统数据安全的重要性,引入有效的备份、方便高效的恢复技术NonStop IQ,进一步满足海量数据7 X 24的高可用性和满足系统灾难恢复的需要。
8. TelestraClear 历史数据归档与报表系统
TelstraClear有限公司是新西兰第二大全业务电信运营商,它需要收集并报告经由它的交换机到其他公司的呼叫信息并计费,也需要检验从公司外部收到的计费信息。为了管理公司内部的计费,TelestraClear追踪所有呼叫明细。由于数据量不断增件,系统需要额外的维护,而且对所需报表难堪重负。Sybase IQ出色的性能及压缩能力使TelestraClear利用现有的硬件,节约储存成本以及额外的维护费用。TelstraClear每天产生6百万条记录,每月大约有1400百万条记录。Sybase管理超过13个月的数据,大约30亿行信息。Sybase IQ解决方案使TelstraClear可以存储超过13个月的数据,提供了丰富的历史报表,而且能够在很短的时间内完成即席查询与日常报表。
更多精彩
赞助商链接