トラフィックが集中するイベントの時間帯に、APIの応答が遅くなり一部のリクエストがタイムアウトします。
サーバーのCPUやメモリには余裕があるのに、ユーザー側では遅延が大きくなります。
この現象は、インターネットが回線を事前に予約せず、
パケット単位でリンクを共有する
構造であることと関係しています。
この記事では、エッジの先でパケットを運ぶ
ネットワークコア
(network core)を見ていきます。
インターネットが使う
パケット交換
の動作原理と、電話網が使ってきた
回線交換
を比較し、無数のISPがどのようにつながっているかを整理します。
パケット交換は、メッセージをパケットに分割し、各パケットが必要な瞬間だけリンクの伝送レート全体を使えるようにする方式です。
ルーターは、パケットの最初のビットが届いた瞬間に次のリンクへ送り出すわけではありません。
パケット全体を受信して保存してから出力リンクへの送信を始めるため、これを
蓄積交換
(store-and-forward)と呼びます。
サイズがLビットのパケットを伝送レートR bpsのリンクに送り出すにはL/R秒かかります。
送信元と宛先の間にリンクがN本あれば、キューイング遅延と伝搬遅延を無視したときのパケット1個のエンドツーエンド遅延はN × L/Rです。
| 条件 | 値 |
|---|
| パケットサイズ L | 1,500バイト = 12,000ビット |
|---|
| リンクの伝送レート R | 10 Mbps |
|---|
| リンク数 N | 3 |
|---|
| リンク1本の伝送時間 L/R | 1.2 ms |
|---|
| エンドツーエンド遅延 N × L/R | 3.6 ms |
|---|
ルーターの各出力リンクには
出力バッファ
(output buffer)、つまりキューがあります。
出力リンクが別のパケットを送信中であれば、新たに到着したパケットはキューで待たなければならず、この待ち時間が
キューイング遅延
です。
キューはデータ構造の
FIFOキュー
のように、先に入ったパケットから送り出します。
しかしバッファのサイズは有限なので、キューが満杯の状態でさらにパケットが到着すると、新しいパケットか待機中のパケットが破棄されます。
これが
パケット損失
であり、トラフィックが集中する時間帯に応答が遅くなり再送が増える原因です。
router-queue.mjsconst capacity = 3;
const queue = [];
function arrive(packet) {
if (queue.length >= capacity) return console.log(`drop ${packet}`);
queue.push(packet);
console.log(`enqueue ${packet} (size=${queue.length})`);
}
function transmit() {
const packet = queue.shift();
if (packet) console.log(`send ${packet}`);
}
["A1", "B1", "A2", "C1", "B2"].forEach(arrive);
transmit();
arrive("C2");
このコードを実行すると、バッファサイズが3なので
C1と
B2は破棄され、1つ送信して空きができた後にようやく
C2がキューに入ります。
実際のルーターはこれよりはるかに大きなバッファとさまざまなスケジューリングポリシーを使いますが、
バッファが有限であれば損失が発生する
という原理は同じです。
ルーターはパケットヘッダーの宛先IPアドレスを見て、どの出力リンクに送るかを決定します。
このとき参照する表が
フォワーディングテーブル
(forwarding table)で、宛先アドレスの範囲を出力リンクに対応付けます。
フォワーディングテーブルは人が一つずつ作成するものではありません。
ルーター同士が
ルーティングプロトコル
で経路情報を交換し、その結果としてテーブルが自動的に作られます。
パケット1個を次のリンクに渡すのがフォワーディング、経路全体を計算するのがルーティング
と区別しておくと、今後ネットワーク層を学ぶときに役立ちます。

パケット交換はルーターのキューに到着順にパケットを積んでリンクを共有し、回線交換はスロットを事前に予約して専用経路を使うという違い
回線交換は、通信を始める前に経路上の資源を予約し、通信が終わるまでその資源を専用で使う方式です。
従来の電話網が代表的な回線交換ネットワークです。
電話をかけると、発信者と受信者の間のスイッチが接続状態を維持し、リンク容量の一定部分をその通話に割り当てます。
そのため、通話中は
一定の伝送レートと遅延
が保証されます。
1本のリンクを複数の回線で共有する方法は二つあります。
FDM
(Frequency-Division Multiplexing)
周波数帯域を分割して各回線に割り当てます。ラジオ局がそれぞれ異なる周波数を使う方式と同じです。
TDM
(Time-Division Multiplexing)
時間をフレームとスロットに分け、各回線が毎フレーム決められたスロットを使います。
どちらの方式でも、回線がデータを送っていない
休止期間
(silent period)にも、割り当てられた資源を他のユーザーが使うことはできません。
1 Mbpsのリンクを複数のユーザーが共有すると仮定してみましょう。
各ユーザーはアクティブなときに100 kbpsで送信し、全体の時間の10%だけアクティブです。
| 方式 | 収容できるユーザー | 根拠 |
|---|
| 回線交換 | 10人 | 1 Mbps ÷ 100 kbps、ユーザーごとに100 kbpsを常時予約 |
|---|
| パケット交換 | 35人 | 同時に11人以上がアクティブになる確率は約0.0004 |
|---|
35人のうち同時にアクティブな人が10人以下であれば、全体の伝送レートは1 Mbpsを超えないため、キューイング遅延はほとんど発生しません。
二項分布で計算すると、11人以上が同時にアクティブになる確率は約0.04%です。
つまり
パケット交換は、同じリンクで3倍以上多くのユーザーをほぼ同じ品質で収容
できます。
一方、リアルタイム通話のように一定の遅延が重要なサービスでは、パケット交換の遅延変動が欠点になります。
そのため、インターネット電話やビデオ会議サービスは、ジッタバッファや損失隠蔽といった技術でパケット交換の変動性を補っています。
👨💻
サービスのトラフィックが特定の時間に集中するなら、サーバー性能と同じくらい
リクエストの分散と再試行ポリシー
が重要です。
すべてのクライアントが同時に再試行すると、すでに満杯のキューにさらにパケットが集中して損失が大きくなるため、再試行間隔にランダムな遅延を混ぜる指数バックオフを適用します。
家庭や企業をつなぐアクセスISPだけでは、世界中のホストを接続することはできません。
アクセスISPは地域ISPに、地域ISPはさらに世界中に網を持つ
ティア1 ISP
に接続され、下位ISPは上位ISPに料金を支払う
顧客
(customer)になります。
現在のインターネットには、この単純な階層に加えて次の要素が加わっています。
PoP
(Point of Presence)
上位ISPが下位ISPを接続するために設置したルーターの集まりです。
マルチホーム
(multi-homing)
一つのISPが二つ以上の上位ISPに接続し、片方に障害が起きても接続を維持します。
ピアリング
(peering)
同じ階層のISP同士が、料金なしでトラフィックを直接交換します。
IXP
(Internet Exchange Point)
複数のISPやCDNが一か所で互いに接続する物理的な拠点です(Cloudflare · What is an Internet exchange point?↗)。
大手コンテンツ企業やCDNは、自社のデータセンターを専用ネットワークで接続しています。
そして上位ISPを経由せずにアクセスISPやIXPに直接接続し、ユーザーにより近い場所からコンテンツを届けます。
これにより上位ISPに支払うコストを減らし、ユーザーにとっては遅延が小さくなります。
ネットワークコアは
パケット交換
方式で動作します。
ルーターはパケットを保存した後、フォワーディングテーブルを見て次のリンクへ転送し、出力リンクが混んでいればキューで待たせ、キューがあふれればパケットを破棄します。
回線交換は一定の品質を保証しますが、休止時間にも資源を占有するため、同じリンクで収容できるユーザーが少なくなります。
イベントの時間帯に応答が遅くなるなら、サーバーの資源だけでなく経路上のキューイングと損失も疑い、再試行ポリシーが混雑を悪化させていないか確認してみてください。
次の記事では、このキューイング遅延を含めてパケットが経験する
4種類の遅延と損失、スループット
を数値で計算してみます。