高速文件传输简史(1971 — 2025)

大多数「高速文件传输」的宣传文案,都把这项技术写得像是昨天才冒出来的。事实并非如此。一个根本性的洞察 —— TCP 不适合「长肥网络」,而带自定义可靠性的 UDP 才是正解 —— 在过去四分之一个世纪里,差不多每五年就被独立地重新发现一次。下面是这段历程的简版。

1971 — FTP(RFC 114)

Abhay Bhushan 在 1971 年 4 月 16 日 发表 RFC 114。当时 ARPANET 上有 23 台主机。TCP 还没出现 —— 它要再过六年才被规范化。FTP 的设计前提是:机器都在同一个房间、至少也是同一栋楼里,延迟可预测。

这套协议在当时那个世界里跑得很好。但它也内置了两个架构决定,日后并不耐用:每传一个文件就要新开一组控制+数据连接,以及底层那套同步的请求-响应模型。

1995–2001 — TCP 撞上长距离传输

进入 1990 年代中期,公网已经全球化,带宽与延迟之间的不对称开始处处暴露。RFC 1323(1992)引入 TCP 窗口缩放,把接收窗口推过 64 KB。SACK 在 RFC 2018(1996)中落地。HTTP/1.1 在 1999 年引入持久连接。

这些都是实打实的进步。但它们都是在 绕开 TCP 那种「发一个、等一个」的本质,而不是替换它。吞吐量公式 window_size / RTT 依然成立 —— 你可以把分子做大,但你没办法让等待消失。

2001–2003 — UDP 转向

决定性的转折发生在一个三年窗口里:三组互不相干的人,各自独立地得出了同一个架构答案。

2001 年:UDT。 Yunhong Gu 启动了基于 UDP 的数据传输项目。2003 年 10 月,NCDM 用它把 6.8 Gbps 从芝加哥推到阿姆斯特丹 —— 这个数字在此之前一直被认为非得靠专用硬件不可。UDT 后来成了高能物理界许多文件搬运任务的基础。

约 2003 年:FASP。 Michelle Munson 和 Serban Simu 发明了 Fast and Secure Protocol,把它产品化成 Aspera,并在广播和后期制作流程里验证了这套模型。IBM 在 2014 年收购 Aspera;接下来的十年里,FASP 成了企业级媒体传输的黄金标准。

同一时期:GridFTP。 Globus 在 FTP 之上加上并行 TCP 流和文件断点续传的扩展。它仍然基于 TCP,但它是一座桥梁协议,在所有人迁移到 UDP 之前证明了「并行就是大部分胜利」。

三个名字,一种架构:跳过「发一个、确认一个、再发下一个」的回合制,在用户态自己跑拥塞控制,接受一定的丢包作为打满链路的代价。

约 2013 — Facebook 开源 WDT

差不多在 QUIC 开始落地的同一个时间窗口里,Facebook 悄悄把 Warp Speed Data Transfer(WDT)放上了 GitHub。它不是产品 —— 它是基础设施团队在公司内部用来在主机间搬数据集的一个 C++ 库,顺便挂了个小 CLI 用于测试。文档里的招牌数字:一个 WDT 会话可以打满一张 40 Gbit/s 的网卡。

WDT 的胜利依然来自并行 —— 多条 TCP 流,而不是一条 UDP 流 —— 但结论和十年前 UDT 与 FASP 给出的是同一个:对一条长肥链路而言,单条顺序连接就是个错误的抽象,正解是把它拆开。到了 2013 年,这条经验已经被文件传输创业公司、IETF 和超大规模厂商分别独立重新发现了一遍。我们承认,在命名这件事上,我们欠 Facebook 一个明显的人情。

2013 — QUIC

Google 在 2013 年开始把 QUIC 推到 Chrome 上。最初的目标是 Web 延迟 —— TLS 1.3 加传输只用一个往返 —— 但这套设计最终也为通用互联网流量验证了「UDP + 用户态可靠性」这条路。

IETF 在 2016 年接手。QUIC 作为 RFC 9000 在 2021 年发布。当 HTTP/3 被广泛部署的时候,「重要流量不应该跑在 TCP 上」这件事,已经从学术边角变成了 Google、Cloudflare、Meta 以及大多数 CDN 的默认选项。

具体到文件传输,QUIC 并没有取代 FASP 这一类产品 —— 它的连接模型和流控是为 HTTP 形状的工作负载调的,而不是为几 GB 的持续流。但它确实摧毁了那种「UDP 是给游戏和 VOIP 用的」的文化论调。一旦 HTTP/3 跑在它之上,就没人能再说 UDP 传输是实验性的了。

2018–2024 — 带宽侧的解冻

这段时间里还发生了另外两件事,对今天这个品类的形态很重要:

• BBR(Google,2016)证明了 TCP 在拥塞控制上可以更聪明。它在长距离链路上追不上基于 UDP 的系统,但它把底座抬高了 —— 在调得不错的现代内核上,2024 年的 TCP 吞吐量比 2014 年要好上一大截。
• Cloudflare 的 R2 / 边缘网络 改变了对外提供文件的成本模型。让 S3 在重传输场景下变贵的那部分出站流量费,不再是唯一选项。现在你可以把传输服务架在 Cloudflare 上当中继路径,出站流量基本不要钱。

正是第二件事,让 2025 年这一代服务能以现在这个价格存在。

2025 — WarpSend

我们没有发明这套架构。UDP 传输、自定义拥塞控制、小包打包、并行流 —— 这些在 2003 年就已经尘埃落定。

我们做的是把这套架构打包给那些早期赢家根本没服务过的买家:四个人的工作室、地区性广告公司、以 NAS 为中心的小生意。同一族协议。用 Cloudflare R2 当中继骨干。$5/TB,而不是 $75,000/年。

这个领域里大多数工程胜利,在我们一半客户出生之前就已经赢得了。一直缺的,只是打包方式。

免费试用 —— 1 TB / 月,不要信用卡。