工作经验总结：SQL Server 2005的IS和AS

核心提示：最近做一个数据质量分析和主题分析的项目,里面用到了SQL Server 2005的IS和AS部分,在这个过程中经历了很多惨痛的教训,多少吸取了一些经验,虽然更多的都是”低级失误”,不过还是希望能记下来,以后避免发生类似的问题: 1.磁盘空间在团队中我想来建议把系统盘分配成30G大小,即使你是wi

最近做一个数据质量分析和主题分析的项目,里面用到了SQL Server 2005的IS和AS部分,在这个过程中经历了很多惨痛的教训,多少吸取了一些经验,虽然更多的都是”低级失误”,不过还是希望能记下来,以后避免发生类似的问题:

1.磁盘空间

在团队中我想来建议把系统盘分配成30G大小,即使你是win2003+vs2005+sqlserver2007+office2007,这些东西装完后其实也就15G左右,似乎够用,但经验上来看,C盘会随着你的使用逐渐变小,刚开始我分配20G的时候到后来C盘就剩几兆,尴尬的很.

不过如果是再做类似的项目的话,我倒建议把C盘分得更大些.做IS的时候很多要用到快速加载,这个过程需要临时表来参与,如果空间不够的话,你导2000万的数据,前1999万都没问题,很有可能到最后1万的时候空间不足而导致失败.

当然这里也可以把数据引擎实例安装或者配置到其它盘,这个完全可以根据自己所遇到的数据量酌情配置.

这一点,是当你处理大量数据的时候不得不考虑的问题,这个先期要是考虑不到的话,就会像我们一样任务中途不得不花费不必要的时间来重新安装或者部署什么.

2.合理的结构

在处理多维数据集的时候经常遇到处理的步骤停滞在那在那个分区的处理上,不往下走.我所遇到这个问题的时候,等了两个小时,后来被迫终止任务,重新检查多维数据集结构,发现结构设计的很有问题,明明只用到了其中的一个维度而把一个事实表同时也做成了维表,这样的聚合简直就是个灾难.后来把这个多维数据集重新做完以后,五分钟的时间多维数据集就处理完了.

当然这里需要提一下的就是,在团队成员做好相应的多维数据集之后,最好是能自己再审查一下.这不是因为对团队成员不信任，而是因为你终究要对过程和质量负责,另外团队成员的技术水平参差不齐,所以这是注定要做的一个工作------我之前就遇到过一次,一个实习生为了得到一个实施表和维度表的结构,套了五六重视图.