跳到主要內容

如何安全搬移 100TB 資料

從實際所需時間、實體媒體初次搬運、可續傳複製、檔案清單、校驗碼、差異補傳到切換驗證,完整規劃100TB資料移轉。

WarpSend 工程團隊 內容查核 Charlie 更新 4 分鐘閱讀

100 TB 的資料遷移可能持續數天,甚至跨越多個星期。規劃時先確認資料必須何時可用、來源能停寫多久,再比較線上傳輸與實體硬碟運送。

首批複製只是其中一段。來源若仍在使用,還需要安排最後的差異補傳、內容驗證與服務切換,並保留可以退回的來源副本。下列時間估算可用來決定部署窗口,再由實際資料測試修正。

先算網路下限

採十進位 TB、沒有額外成本的理論值:

持續速率100TB 下限只有線路 70% 時
100Mbps92.6 天132.3 天
1Gbps9.3 天13.2 天
2Gbps4.6 天6.6 天
10Gbps22.2 小時31.7 小時

秒數 = 位元組 × 8 ÷ 每秒位元數。這只是有效資料,不含讀寫、逐檔中繼資料、加密、重試與驗證。用傳輸時間計算器代入真實持續速度,不要用交換器標示值。

多 TB 搬遷的五條規則

  1. 除非筆電就是端點,否則不要讓資料繞經筆電。
  2. 使用能中斷續傳、保留失敗清單與歷史的工具。
  3. 先做首批複製,再於停寫後核對並補傳差異。
  4. 以獨立檔案清單驗證,不能只相信「Completed」。
  5. 在真實使用與還原測試完成前,不清除唯一回復用副本。

量測四個不同天花板

  • **來源儲存:**資料清理、重建、快照清理、索引與正式工作負載下能否持續讀取?
  • **目的儲存:**能否在中繼資料、校驗碼、加密與背景工作下持續寫入?
  • **網路路徑:**兩方向吞吐、較慢上行、RTT、丟包、NAT/中繼與流量整形。
  • **檔案型態:**一個 100GB 檔與千萬小檔完全不同;後者可能由檔案數主導。

線上傳輸或實體初始化

實體初始資料是把首批資料複製到加密媒體、運到目的地匯入,之後只用網路傳變更。線上估算達數週、WAN 與正式環境共用、流量成本高,而且能明確凍結/做差異時值得考慮。

比較完整公式:

初始資料時間 = 匯出複製 + 來源驗證 + 運送 + 匯入複製 + 目的驗證 + 最後差異補傳

例如 1Gbps 只有 70% 利用率時,100TB 約 13.2 天;若匯出 2 天、驗證 1 天、運送 2 天、匯入 2 天、差異 1 天,實體方案約 8 天,可能勝出。但在可持續多 Gbps 的路徑,兩次額外磁碟複製加運送反而更慢。

只能使用產品明確支援的初始資料流程。Synology Snapshot Replication 有初始副本匯出/匯入;這不表示任意一般磁碟複製都能成為其他產品的初始資料。

選可續傳的傳輸

100TB 不能接受 90% 斷線後歸零。工具至少要有逐檔/區塊完成狀態、持續保存的失敗清單、時間與歷史、只重跑遺漏/變更,以及符合風險的完整性驗證。

Rsync 工作流程可利用未完成的檔案,但 --partial、--partial-dir、ACL、延伸屬性、刪除等語意都要依官方手冊在代表資料上測試。WarpDirect 可處理支援端點間的可續傳、加密檔案移動,但不搬 DSM 套件、快照歷史或應用設定;那些要用平台原生遷移/備份。

建立來源檔案清單

至少記錄:來源資料集、檔案/目錄數、邏輯/實際占用位元組、大檔、稀疏檔案、硬連結、不支援檔名、擁有者、權限、時間戳記、延伸屬性、需要的雜湊值,以及會持續寫入的應用程式。

先定義「等價」:媒體封存檔可能只需路徑、位元組、修改時間、雜湊值;使用者目錄還要擁有者、群組、ACL、延伸屬性;資料庫/VM 儲存庫則可能需要應用一致匯出,不能在使用中的檔案上直接複製。

首批複製、差異補傳與切換

  1. 來源仍在線時完成首批複製。
  2. 修正失敗、不支援檔案與權限。
  3. 停止或嚴格控制新寫入。
  4. 只傳首批複製後新增與變更。
  5. 比對檔案清單、雜湊值、應用與使用者權限。
  6. 將服務切換至目的端。
  7. 來源保持完整、最好唯讀,直到可退回來源的期間結束。

真正決定停機時間的是最後差異補傳,不是首批複製。

三層驗證

層級問題證據
傳輸接收內容是否等於傳送內容?校驗碼、重試紀錄、已完成區塊
清單是否選到所有必要路徑?來源/目的端檔案清單、數量、位元組、遺漏報告
應用目的端能否完成業務?媒體解碼、開案、資料庫復原、權限與使用者驗收

完整雜湊計算自己也可能花數天,應在首批複製前或期間建立並另行保存,最後差異補傳只重算必要項目。最快的複製只有在目的端完整、可用、可復原時,才是成功遷移。

常見問題

傳輸 100TB 要多久?

純網路理論下限約為:100Mbps 92.6 天、1Gbps 9.3 天、2Gbps 4.6 天、10Gbps 22.2 小時。實際還要加上利用率不足、磁碟、檔案數、重試與驗證。

100TB 寄硬碟會比較快嗎?

上行很慢或昂貴時常會。要比較完整的複製、加密、來源驗證、運送、匯入、目的驗證、最後差異,不能只看快遞時間。

大型資料搬遷要怎麼驗證?

建立來源檔案清單,比對路徑、檔案數與總位元組,按風險使用密碼學雜湊,檢查失敗項目,在變更凍結後跑差異,並保留來源唯讀直到使用者與應用程式驗收。

5TB 或 20TB 也適用同一套流程嗎?

適用。盤點、量測、選可續傳路徑、首批複製、凍結、差異、驗證與回復用副本的原則相同;資料越大,檔案清單、寄送與切換要越正式。