跳到主要内容

如何安全搬移 100TB 数据

从实际所需时间、实体媒体初次搬运、可续传拷贝、文件清单、校验码、差异补传到切换验证,完整规划100TB数据移转。

WarpSend 工程团队 内容核查 Charlie 更新 4 分钟阅读

100 TB 的数据迁移可能持续数天,甚至跨越多个星期。规划时先确认数据必须何时可用、来源能停写多久,再比较在线传输与实体硬盘运送。

首批拷贝只是其中一段。来源若仍在使用,还需要安排最后的差异补传、内容验证与服务切换,并保留可以退回的来源副本。下列时间估算可用来决定部署窗口,再由实际数据测试修正。

先算网络下限

采十进制 TB、没有额外成本的理论值:

持续速率100TB 下限只有线路 70% 时
100Mbps92.6 天132.3 天
1Gbps9.3 天13.2 天
2Gbps4.6 天6.6 天
10Gbps22.2 小时31.7 小时

秒数 = 字节 × 8 ÷ 每秒比特数。这只是有效数据,不含读写、逐档元数据、加密、重试与验证。用传输时间计算器代入真实持续速度,不要用交换器标示值。

多 TB 搬迁的五条规则

  1. 除非笔电就是端点,否则不要让数据绕经笔电。
  2. 使用能中断续传、保留失败清单与历史的工具。
  3. 先做首批拷贝,再于停写后核对并补传差异。
  4. 以独立文件清单验证,不能只相信「Completed」。
  5. 在真实使用与还原测试完成前,不清除唯一回复用副本。

测量四个不同天花板

  • **来源存储:**数据清理、重建、快照清理、索引与正式工作负载下能否持续读取?
  • **目的存储:**能否在元数据、校验码、加密与背景工作下持续写入?
  • **网络路径:**两方向吞吐、较慢上行、RTT、丢包、NAT/中继与流量整形。
  • **文件型态:**一个 100GB 档与千万小文件完全不同;后者可能由文件数主导。

在线传输或实体初始化

实体初始数据是把首批数据拷贝到加密媒体、运到目的地导入,之后只用网络传变更。在线估算达数周、WAN 与正式环境共用、流量成本高,而且能明确冻结/做差异时值得考虑。

比较完整公式:

初始数据时间 = 导出拷贝 + 来源验证 + 运送 + 导入拷贝 + 目的验证 + 最后差异补传

例如 1Gbps 只有 70% 利用率时,100TB 约 13.2 天;若导出 2 天、验证 1 天、运送 2 天、导入 2 天、差异 1 天,实体方案约 8 天,可能胜出。但在可持续多 Gbps 的路径,两次额外磁盘拷贝加运送反而更慢。

只能使用产品明确支持的初始数据流程。Synology Snapshot Replication 有初始副本导出/导入;这不表示任意一般磁盘拷贝都能成为其他产品的初始数据。

选可续传的传输

100TB 不能接受 90% 断线后归零。工具至少要有逐档/区块完成状态、持续保存的失败清单、时间与历史、只重跑遗漏/变更,以及符合风险的完整性验证。

Rsync 工作流程可利用未完成的文件,但 --partial、--partial-dir、ACL、延伸属性、删除等语意都要依官方手册在代表数据上测试。WarpDirect 可处理支持端点间的可续传、加密文件移动,但不搬 DSM 套件、快照历史或应用设置;那些要用平台原生迁移/备份。

创建来源文件清单

至少记录:来源数据集、文件/目录数、逻辑/实际占用字节、大文件、稀疏文件、硬链接、不支持文件名、拥有者、权限、时间戳记、延伸属性、需要的哈希值,以及会持续写入的应用程序。

先定义「等价」:媒体封存盘可能只需路径、字节、修改时间、哈希值;用户目录还要拥有者、群组、ACL、延伸属性;数据库/VM 存储库则可能需要应用一致导出,不能在使用中的文件上直接拷贝。

首批拷贝、差异补传与切换

  1. 来源仍在线时完成首批拷贝。
  2. 修正失败、不支持文件与权限。
  3. 停止或严格控制新写入。
  4. 只传首批拷贝后添加与变更。
  5. 比对文件清单、哈希值、应用与用户权限。
  6. 将服务切换至目的端。
  7. 来源保持完整、最好唯读,直到可退回来源的期间结束。

真正决定停机时间的是最后差异补传,不是首批拷贝。

三层验证

层级问题证据
传输接收内容是否等于发送内容?校验码、重试纪录、已完成区块
清单是否选到所有必要路径?来源/目的端文件清单、数量、字节、遗漏报告
应用目的端能否完成业务?媒体解码、开案、数据库复原、权限与用户验收

完整哈希计算自己也可能花数天,应在首批拷贝前或期间创建并另行保存,最后差异补传只重算必要项目。最快的拷贝只有在目的端完整、可用、可复原时,才是成功迁移。

常见问题

传输 100TB 要多久?

纯网络理论下限约为:100Mbps 92.6 天、1Gbps 9.3 天、2Gbps 4.6 天、10Gbps 22.2 小时。实际还要加上利用率不足、磁盘、文件数、重试与验证。

100TB 寄硬盘会比较快吗?

上行很慢或昂贵时常会。要比较完整的拷贝、加密、来源验证、运送、导入、目的验证、最后差异,不能只看快递时间。

大型数据搬迁要怎么验证?

创建来源文件清单,比对路径、文件数与总字节,按风险使用密码学哈希,检查失败项目,在变更冻结后跑差异,并保留来源唯读直到用户与应用程序验收。

5TB 或 20TB 也适用同一套流程吗?

适用。盘点、测量、选可续传路径、首批拷贝、冻结、差异、验证与回复用副本的原则相同;数据越大,文件清单、寄送与切换要越正式。