SQL Server 2008 数据加载创世界记录
2008-08-21 09:56:27 来源:WEB开发网四个服务器作为数据源,它们是来自现代企业的不同的数据系统中的建模事实数据。每一源服务器运行SSIS包通过网络发送数据到数据库服务器。源头服务器运行着Windows Server 2008的SQL Server版本v10.0.1300.4上的SSIS 。源数据则来自DBGen产生的平面文件 。
源服务器, 4 台Unisys的ES3220L windows2008 x64企业版服务器。每台服务器配备2 × 2.0 GHz的四核Intel处理器, 4 GB的内存,双端口4 Gbit Emulex的HBA和英特尔PRO1000/PT网 卡。源数据则来自于被读出2 ×的EMC CLARiiON cx600 SAN存储设备 。 数据源服务器通过双端口1 GB的以太网连接到es7000/one Server数据库服务器。
为什么要使用多数据源系统?
现代大型企业是包含复杂的业务活动。大型数据集往往是混合着多种数据源。这种测试更切合实际,酷似一个真实的ETL场景。
SSIS包看起来是什么样子的呢?
这里有一个包, 通过源系统运行着多个实例。 它也是简单的:存在有一个控制流 为每一个"流"所产生的数据DBGEN。通过OLEDB控制流为每一个表存在一个数据流,每一个数据流读平面文件数据,并写回SQL Server数据库。在平面文件数据源和数据库表之间存在的这个数据集有一个一对一的栏位之间的映射,。
让我们看看Windows Server 2008技术重点:
Windows Server 2008做了许多创新的工作,其中包括内存管理的显着改善, PCI和块存储输入/输出,以及核心网络,从的业绩。由于这些进展, Windows Server 2008能够持续大约每秒960兆字节网路传输 。
做这项工作是否需要更多秘密的技巧?
不需要特别的版本和技巧,尽管这是一个预版本, 但它同时是一个正式的SQL Server 008企业版本。在产品使用上没有任何特殊代码。我们所做的一切足以让别人仿效。
我们在关系型数据库中完成了被称为"Soft NUMA"的技术,它通过端口映射在系统内部得以获得良好的分布式工作效果。 这是技术已经公开发表,你可以在 MSDN上找到文章。我们还设置X-flag,从一开始使用SQL Server起 , 这就降低了SQL Server花在收集性能统计在运行时间。
在SSIS中我们采用了使用SSIS数据流匹配的数据类型,因此从平面文件读取的数据并不需要转换,在文本文件字段被应用的时候就能获得最快地解析 。
在服务器上的网络连接使用了内建Intel PRO/1000 GbE控制器。发布版本的网络驱动程序被使用,而且以太网Jumbo帧被配置好,以更好地支持这项散装流的情况。Windows Server 2008年的新的TCP/IP接收窗口自动调谐默认为"限制" 。
后续将有一份完整的清单文件发表,它将包含系统的设置和优化等内容。
- ››sql server自动生成批量执行SQL脚本的批处理
- ››sql server 2008亿万数据性能优化
- ››SQL Server 2008清空数据库日志方法
- ››sqlserver安装和简单的使用
- ››SQL Sever 2008 R2 数据库管理
- ››SQL SERVER无法安装成功,sqlstp.log文件提示[未发...
- ››Sql Server中通过父记录查找出所有关联的子记录
- ››SqlServer触发器、存储过程和函数
- ››SQL Server 中的事务(含义,属性,管理)
- ››Sqlite数据库插入和读取图片数据
- ››Sql server 2005拒绝了对对象 'xx表' (数...
- ››Sql server 2005拒绝了对对象 'xx表' (数...
更多精彩
赞助商链接