阐述重复数据删除技术的两大特点和五大误区

核心提示： 后期处理重复数据删除技术(我觉得称之为异步方式更合适)当备份服务器开始向备份设备传输备份数据流时，会将整个备份数据量作为一个整体来传送，阐述重复数据删除技术的两大特点和五大误区(2)， 然后启动单独的进程开始读取已写入磁盘的数据块，开始重复数据删除处理过程(该过程通常由另外一个设备执行，保

后期处理重复数据删除技术(我觉得称之为异步方式更合适)

当备份服务器开始向备份设备传输备份数据流时，会将整个备份数据量作为一个整体来传送。 然后启动单独的进程开始读取已写入磁盘的数据块，开始重复数据删除处理过程(该过程通常由另外一个设备执行，访问备份数据已写入的磁盘)，如读入的数据块和已存储的数据块重复了，则用指针替代该数据块，如果没有重复，则将该新数据块留在磁盘上，而无需任何其他操作。

这种处理方式比联机处理方式显然需要更多的I/O操作。首先，后期处理方式要求进行所有备份数据块的写入操作。 然后，还需要对写入的所有数据块进行再读入操作，并与哈希表记录进行对比查找重复的数据块，这就需要额外的磁盘读操作。某些厂商的产品还要求进行再次的读操作来确认数据块在字节级别的重复。如果确认了重复的数据块，需要进行删除重复的数据块的写操作，另外还需要发起更新哈希表的写操作，该过程占用了整个处理过程95%的时间。余下5%的时间用来处理那些不匹配的数据块，同样需要对哈希表进行更新写操作。

下表总结了两种处理方式的技术特点：

*某厂商宣称他们可以将哈希表保留在RAM内，这样就无需执行磁盘读操作来检查哈希表了。

各有长短的两种方式

所有的人都同意只有当重复数据删除处理过程结束后，整个备份任务才算完成。

从以上的技术对比表中，我们可以知道采用联机重复数据删除方式，整个处理过程所需的I/O操作最少。采用联机处理方式的厂商认为后期处理方式会导致备份时间延长。但是联机处理方式必须非常仔细地进行调优处理，保证它的重复数据删除速度足够快，从而不至于造成进入备份设备的备份数据流拥塞，而无法继续执行备份任务。