none
windows server 2012 R2的重复数据删除功能,数据量大了之后,就失效。能给解答一下否? RRS feed

  • 问题

  • 空间有40TB,(Dell MD1200),我们的另外一台文件服务器有10TB的数据。

    我打算每天一个全备份,持续一周,也就是70TB,每天全备份有95%的数据是相同的。

    两次的数据进去之后20TB都OK,完成之后,40TB空间大约用了6-7个TB。

    第三次、第四次进去就会提示内存不足、拒绝访问。(日志-应用程序和服务日志-Microsoft-Windows-Dedupliction).

    重复数据删除取消了卷“\\?\Volume{c174cd43-7f9b-4bc0-a8a5-0d6436e33a44}\”上的作业类型“优化”。它使用的内存比分配的内存多得多。

    已取消卷“F:”上的计划重复数据删除作业类型“1”。

    在卷“F:”上终止作业类型为“优化”的作业主机进程时出错(进程 ID: 2196)。
    0x80070005, 拒绝访问。

    我确定优化、回收都做了,显示都正常,数据拷贝使用robocopy  参加带着 /b /j ,但就是不行。

    手动优化Powershell Start-DedupJob –Volume F: –Type Optimization,是否带内存和优先级参数都试过,或者自动计划调度,都不工作了。

    把F:格式化,重新来过,行。数据量小行,数据量一大,又不行了。

    内存是足够的。

    2015年5月27日 2:45

全部回复

  • 您好,

    不太明白您说的“数据进去之后20TB都OK” 只具体指什么操作,重复数据删除最大支持不能超过64TB,默认小于32KB的文件是不适用于重复文件删除的,您可以参考以下KB来查看具体的不适用条件。

    Plan to Deploy Data Deduplication

    https://technet.microsoft.com/en-us/library/hh831700.aspx?f=255&MSPPError=-2147217396

    谢谢。


    Please remember to mark the replies as answers if they help and unmark them if they provide no help. If you have feedback for TechNet Support, contact tnmff@microsoft.com


    2015年6月1日 7:29
    版主
  • 我的意思是说20TB的数据拷贝进去后,重复数据删除还可以正常运行,再大就不能工作了。

    您说“重复数据删除最大支持不能超过64TB“?是指卷(分区)不能大于64TB吧?

    我的磁盘分区是40TB,分成7个目录,也就是每天晚上跟文件服务器同步一次,7天循环。数据量大约80TB。

    因为重复的数据很多,估计这80TB实际占用的空间不会超过20TB。

    我具体操作有两种:

    1。先同步文件服务器到这台01目录和02目录,运行重复数据删除后,OK,占用空间降下来了,再同步一份到03目录,重复数据删除不工作了。

    2。用robocopy同时同步文件服务器到这01-07目录,用日期参数控制15年和14年的文件复制后,运行重复数据删除后,OK,占用空间降下来了,再接着复制13年的数据,重复数据删除不工作了。

    2015年6月2日 1:08