如何安全搬移 100TB 数据
从实际所需时间、实体媒体初次搬运、可续传拷贝、文件清单、校验码、差异补传到切换验证,完整规划100TB数据移转。
100 TB 的数据迁移可能持续数天,甚至跨越多个星期。规划时先确认数据必须何时可用、来源能停写多久,再比较在线传输与实体硬盘运送。
首批拷贝只是其中一段。来源若仍在使用,还需要安排最后的差异补传、内容验证与服务切换,并保留可以退回的来源副本。下列时间估算可用来决定部署窗口,再由实际数据测试修正。
先算网络下限
采十进制 TB、没有额外成本的理论值:
| 持续速率 | 100TB 下限 | 只有线路 70% 时 |
|---|---|---|
| 100Mbps | 92.6 天 | 132.3 天 |
| 1Gbps | 9.3 天 | 13.2 天 |
| 2Gbps | 4.6 天 | 6.6 天 |
| 10Gbps | 22.2 小时 | 31.7 小时 |
秒数 = 字节 × 8 ÷ 每秒比特数。这只是有效数据,不含读写、逐档元数据、加密、重试与验证。用传输时间计算器代入真实持续速度,不要用交换器标示值。
多 TB 搬迁的五条规则
- 除非笔电就是端点,否则不要让数据绕经笔电。
- 使用能中断续传、保留失败清单与历史的工具。
- 先做首批拷贝,再于停写后核对并补传差异。
- 以独立文件清单验证,不能只相信「Completed」。
- 在真实使用与还原测试完成前,不清除唯一回复用副本。
测量四个不同天花板
- **来源存储:**数据清理、重建、快照清理、索引与正式工作负载下能否持续读取?
- **目的存储:**能否在元数据、校验码、加密与背景工作下持续写入?
- **网络路径:**两方向吞吐、较慢上行、RTT、丢包、NAT/中继与流量整形。
- **文件型态:**一个 100GB 档与千万小文件完全不同;后者可能由文件数主导。
在线传输或实体初始化
实体初始数据是把首批数据拷贝到加密媒体、运到目的地导入,之后只用网络传变更。在线估算达数周、WAN 与正式环境共用、流量成本高,而且能明确冻结/做差异时值得考虑。
比较完整公式:
初始数据时间 = 导出拷贝 + 来源验证 + 运送 + 导入拷贝 + 目的验证 + 最后差异补传
例如 1Gbps 只有 70% 利用率时,100TB 约 13.2 天;若导出 2 天、验证 1 天、运送 2 天、导入 2 天、差异 1 天,实体方案约 8 天,可能胜出。但在可持续多 Gbps 的路径,两次额外磁盘拷贝加运送反而更慢。
只能使用产品明确支持的初始数据流程。Synology Snapshot Replication 有初始副本导出/导入;这不表示任意一般磁盘拷贝都能成为其他产品的初始数据。
选可续传的传输
100TB 不能接受 90% 断线后归零。工具至少要有逐档/区块完成状态、持续保存的失败清单、时间与历史、只重跑遗漏/变更,以及符合风险的完整性验证。
Rsync 工作流程可利用未完成的文件,但 --partial、--partial-dir、ACL、延伸属性、删除等语意都要依官方手册在代表数据上测试。WarpDirect 可处理支持端点间的可续传、加密文件移动,但不搬 DSM 套件、快照历史或应用设置;那些要用平台原生迁移/备份。
创建来源文件清单
至少记录:来源数据集、文件/目录数、逻辑/实际占用字节、大文件、稀疏文件、硬链接、不支持文件名、拥有者、权限、时间戳记、延伸属性、需要的哈希值,以及会持续写入的应用程序。
先定义「等价」:媒体封存盘可能只需路径、字节、修改时间、哈希值;用户目录还要拥有者、群组、ACL、延伸属性;数据库/VM 存储库则可能需要应用一致导出,不能在使用中的文件上直接拷贝。
首批拷贝、差异补传与切换
- 来源仍在线时完成首批拷贝。
- 修正失败、不支持文件与权限。
- 停止或严格控制新写入。
- 只传首批拷贝后添加与变更。
- 比对文件清单、哈希值、应用与用户权限。
- 将服务切换至目的端。
- 来源保持完整、最好唯读,直到可退回来源的期间结束。
真正决定停机时间的是最后差异补传,不是首批拷贝。
三层验证
| 层级 | 问题 | 证据 |
|---|---|---|
| 传输 | 接收内容是否等于发送内容? | 校验码、重试纪录、已完成区块 |
| 清单 | 是否选到所有必要路径? | 来源/目的端文件清单、数量、字节、遗漏报告 |
| 应用 | 目的端能否完成业务? | 媒体解码、开案、数据库复原、权限与用户验收 |
完整哈希计算自己也可能花数天,应在首批拷贝前或期间创建并另行保存,最后差异补传只重算必要项目。最快的拷贝只有在目的端完整、可用、可复原时,才是成功迁移。
常见问题
传输 100TB 要多久?
纯网络理论下限约为:100Mbps 92.6 天、1Gbps 9.3 天、2Gbps 4.6 天、10Gbps 22.2 小时。实际还要加上利用率不足、磁盘、文件数、重试与验证。
100TB 寄硬盘会比较快吗?
上行很慢或昂贵时常会。要比较完整的拷贝、加密、来源验证、运送、导入、目的验证、最后差异,不能只看快递时间。
大型数据搬迁要怎么验证?
创建来源文件清单,比对路径、文件数与总字节,按风险使用密码学哈希,检查失败项目,在变更冻结后跑差异,并保留来源唯读直到用户与应用程序验收。
5TB 或 20TB 也适用同一套流程吗?
适用。盘点、测量、选可续传路径、首批拷贝、冻结、差异、验证与回复用副本的原则相同;数据越大,文件清单、寄送与切换要越正式。