在流量集中的活动时段,API 响应变慢,部分请求超时。
服务器的 CPU 和内存都还有余量,但用户一侧的时延却越来越大。
这种现象与互联网的一个特点有关:它不预先预留线路,而是
以分组为单位共享链路
。
本文将介绍在边缘之外运送分组的
网络核心
(network core)。
我们会比较互联网所使用的
分组交换
的工作原理与电话网一直使用的
电路交换
,并梳理无数 ISP 是如何相互连接的。
分组交换把报文拆分成分组,让每个分组只在需要的那一刻使用链路的全部传输速率。
路由器并不会在分组的第一个比特到达时就立即把它发往下一条链路。
它要先接收并存储整个分组,然后才开始向输出链路发送,这称为
存储转发
(store-and-forward)。
把大小为 L 比特的分组发送到传输速率为 R bps 的链路上需要 L/R 秒。
如果源和目的地之间有 N 条链路,在忽略排队时延和传播时延的情况下,单个分组的端到端时延为 N × L/R。
| 条件 | 值 |
|---|
| 分组大小 L | 1,500 字节 = 12,000 比特 |
|---|
| 链路传输速率 R | 10 Mbps |
|---|
| 链路数 N | 3 |
|---|
| 单条链路的传输时间 L/R | 1.2 ms |
|---|
| 端到端时延 N × L/R | 3.6 ms |
|---|
路由器的每条输出链路都有一个
输出缓存
(output buffer),也就是队列。
如果输出链路正在发送其他分组,新到达的分组就必须在队列中等待,这段等待时间就是
排队时延
。
队列像数据结构中的
FIFO 队列
一样,先进入的分组先发出。
但缓存大小是有限的,当队列已满时再有分组到达,新分组或正在等待的分组就会被丢弃。
这就是
丢包
,也是流量高峰时段响应变慢、重传增多的原因。
router-queue.mjsconst capacity = 3;
const queue = [];
function arrive(packet) {
if (queue.length >= capacity) return console.log(`drop ${packet}`);
queue.push(packet);
console.log(`enqueue ${packet} (size=${queue.length})`);
}
function transmit() {
const packet = queue.shift();
if (packet) console.log(`send ${packet}`);
}
["A1", "B1", "A2", "C1", "B2"].forEach(arrive);
transmit();
arrive("C2");
运行这段代码时,由于缓存大小为 3,
C1 和
B2 会被丢弃,直到发送出一个分组腾出位置后,
C2 才能进入队列。
真实的路由器使用大得多的缓存和多种调度策略,但
缓存有限就会产生丢包
这一原理是相同的。
路由器根据分组首部中的目的 IP 地址来决定从哪条输出链路发送。
此时参考的表是
转发表
(forwarding table),它把目的地址范围映射到输出链路。
转发表并不是人工逐条编写的。
路由器之间通过
路由协议
交换路径信息,并据此自动生成转发表。
把
将单个分组交给下一条链路称为转发,把计算整条路径称为路由
区分开来,会对之后学习网络层有所帮助。

分组交换按到达顺序把分组排入路由器队列来共享链路,而电路交换预先预留时隙并使用专用路径,两者的区别
电路交换在通信开始前预留路径上的资源,并在通信结束前独占使用这些资源。
传统电话网是典型的电路交换网络。
拨打电话时,主叫方与被叫方之间的交换机会维持连接状态,并把链路容量中的固定部分分配给这次通话。
因此,通话期间能够保证
恒定的传输速率和时延
。
多条电路共享一条链路的方法有两种。
FDM
(Frequency-Division Multiplexing)
划分频带并分配给各条电路。这与不同电台使用不同频率的方式相同。
TDM
(Time-Division Multiplexing)
把时间划分为帧和时隙,每条电路在每一帧中使用固定的时隙。
两种方式下,即使在电路不发送数据的
静默期
(silent period),分配的资源也不能被其他用户使用。
假设多个用户共享一条 1 Mbps 的链路。
每个用户在活跃时以 100 kbps 发送数据,并且只有 10% 的时间处于活跃状态。
| 方式 | 可容纳的用户数 | 依据 |
|---|
| 电路交换 | 10 人 | 1 Mbps ÷ 100 kbps,为每个用户常驻预留 100 kbps |
|---|
| 分组交换 | 35 人 | 同时有 11 人以上活跃的概率约为 0.0004 |
|---|
如果 35 人中同时活跃的人数不超过 10 人,总速率就不会超过 1 Mbps,因此几乎不会产生排队时延。
按二项分布计算,11 人以上同时活跃的概率约为 0.04%。
也就是说,
分组交换可以用同一条链路、以几乎相同的质量容纳 3 倍以上的用户
。
另一方面,对于实时通话这类重视恒定时延的服务,分组交换的时延波动就成了缺点。
因此,网络电话和视频会议服务会利用抖动缓冲、丢包隐藏等技术来弥补分组交换的波动性。
👨💻
如果服务的流量集中在特定时段,那么
请求分散和重试策略
与服务器性能同样重要。
如果所有客户端同时重试,更多分组会涌入本已满载的队列,使丢包加剧,因此应采用在重试间隔中加入随机时延的指数退避。
仅靠连接家庭和企业的接入 ISP,无法把全世界的主机连接起来。
接入 ISP 连接到地区 ISP,地区 ISP 再连接到拥有全球网络的
第一层 ISP
,下层 ISP 成为向上层 ISP 付费的
客户
(customer)。
如今的互联网在这一简单层级之外,还加入了以下要素。
PoP
(Point of Presence)
上层 ISP 为连接下层 ISP 而设置的一组路由器。
多宿主
(multi-homing)
一个 ISP 连接两个以上的上层 ISP,即使其中一个发生故障也能保持连接。
对等互联
(peering)
同一层级的 ISP 之间不收取费用,直接交换流量。
IXP
(Internet Exchange Point)
多个 ISP 和 CDN 在同一地点相互连接的物理节点(Cloudflare · What is an Internet exchange point?↗)。
大型内容公司和 CDN 用专用网络连接自己的数据中心。
它们绕过上层 ISP,直接连接到接入 ISP 或 IXP,从离用户更近的地方分发内容。
这样既减少了向上层 ISP 支付的费用,对用户来说时延也更低。
网络核心以
分组交换
方式工作。
路由器先存储分组,再根据转发表转发到下一条链路;输出链路繁忙时让分组在队列中等待,队列溢出时则丢弃分组。
电路交换能保证稳定的质量,但在空闲时间也会占用资源,因此同一条链路能容纳的用户较少。
如果活动时段响应变慢,除了服务器资源,也要怀疑路径上的排队和丢包,并检查重试策略是否加剧了拥塞。
下一篇文章将对分组所经历的
四种时延以及丢包和吞吐量
进行数值计算,其中也包括这里的排队时延。