解读重复删除技术和数据生命周期管理

毫无疑问，重复删除技术已经成为备份管理员的一份利器，但从历史经验上看，仍有些特定领域是无法应用到重复删除技术的。

举个例子来说，许多重复删除方案都忽略了这样一个事实，即一些企业执行的备份要比基础备份复杂的多，也就是说并不是只创建一份生产数据的冗余副本那么简单。大型企业可能要使用多层的备份存储，数据可能也要保留很长时间。此外，业务连续性需求或许意味着部分备份或归档数据可能要保持离线状态，无论是在备选的数据中心还是在云端。

要在这种情况下观察重复数据删除过程，我们可以想象某家企业在内部备份服务器上创建基于磁盘的备份，而该服务器只存储30天内的备份。然后服务器上的内容会复制到一个离线备份设备上，并且用相应的处理将陈旧的备份数据迁移到更为廉价的存储上。如果有120天的备份存储在离线数据中心，那么可能就有整整两年的备份存储在云端。

数据的重复删除发生在其写入内部备份服务器的过程中。而备份服务器的副本是主备份服务器的一份镜像，因此去重后的数据可以直接发送到副本，无需再次处理。

不过，当数据被发送到离线站点，长期的数据保存就变得复杂了。离线存储并非是备份服务器的镜像，因此备份服务器端的内容并不能简单复制。相反，数据必须在处理之后才能发送到离线存储上。并且由于数据要向离线站点发送，在通过线路发送之前就需要在远端进行重复删除。实际上，重复删除后的数据在恢复后需要经过再次重复删除。

正是由于这种低效性，备份和重复删除厂商开发了多种解决方案，以使数据向长期存储的媒介上迁移时更加高效。比如，CommVault公司推出DASH技术（Deduplication Accelerated Streaming Hash）。

DASH技术支持将重复删除后的数据迁移到各存储层，而无需重新恢复。DASH所提供的方式能够为数据创建重复删除感知的二级拷贝。该拷贝过程可以进行磁盘读优化或网络读优化。

对于磁盘读优化拷贝，源磁盘的元数据可以读取相应的标记，然后该标记被发送到目的端媒介，在这上面会将其和目的端去重数据库的标记进行比较。

假如该标记存在于目的端数据库中，意味着数据在目的端已经存在，这样就不必再次传输数据了。而只要传输标记属性即可。如果该标记无法找到，说明数据是全新的，这部分新数据会全部被传输到目的端，并更新目的端的数据库。

FalconStor采取的方式和其FDS（File Interface Deduplication System）解决方案相似。该产品利用一项全局性的重复删除数据仓库，其中能够向远程数据中心进行WAN优化的复制。

网络读优化拷贝操作适用于低带宽的环境，不过其对I/O比磁盘读优化拷贝操作更为敏感。整个过程和磁盘读优化拷贝类似，除了磁盘读优化拷贝会读取主磁盘元数据上的标记。网络优化拷贝会将主磁盘上的数据拆解开，生成标记发送到目的端媒介进行比较。

一直以来，重复删除技术并不十分适合于需要将数据在各存储层之间迁移并用以长期保存的环境。这种数据迁移通常使得数据在迁移之前再次恢复。而像CommVault的DASH这种新技术使得重复删除后的数据可以直接拷贝到二级存储上，并不需要先进行数据恢复。

预约挂号平台服务中心

挂号平台预约系统

名医汇