なぜ事前の負荷テストを通過してもカットオーバー当日に障害が起きるのか?

オンプレミスや既存ホスティングから新しいクラウドへ移行する際、大半のチームは公開前に負荷テストツールを回して目標の秒間リクエスト数(RPS)を確認します。ところがテストでは問題なかったシステムが、日曜早朝のカットオーバー直後や月曜午前の最初のピークで応答遅延と接続エラーにより止まる事態が繰り返されます。

原因は負荷テストの有無ではなく、試験した条件と実際の切り替え瞬間の状態が異なることにあります。事前テストはすでにデータがキャッシュに載っており単一の照会APIを一定速度で呼び出す環境で回す一方、実際のカットオーバー直後はキャッシュが空であり、メンテナンス終了を待っていた利用者が一斉にログインと書き込み要求を投げます。[2][4]

また切り替え当日はアプリケーションだけが変わるのではなく、DNS伝播、ロードバランサーの予熱、ファイアウォール・NATセッション、データベースコネクションプール、外部PG・認証機関の許可IPが同時に噛み合います。[1][2] どこか1区間でも限界を超えると、遅延が前段へ伝播する連鎖障害(Cascading Failure)が発生します。[4]

単一サーバーの基礎容量を測る方法は2 vCPU・4GBサーバーはどこまで使えるか:推測の代わりに計測する方法で扱っています。本稿ではその計測原理をクラウド移行と大規模トラフィック切り替えへ拡張し、試験類型別の設計、コールドキャッシュ保護、コネクションのボトルネック、カットオーバー手順書(Runbook)の切り戻し検証基準を整理します。

平均負荷・スパイク・コールドキャッシュ・長時間試験はそれぞれ何を見つけるか?

負荷テストを「同時接続N人を10分間投入する試験」1つで終わらせると、切り替え当日の失敗原因の半分も見つけられません。Grafana k6などの性能検証標準ガイドでは、確認したいリスクに応じて試験の波形(Workload Profile)を分けて実行するよう案内しています。[3]

クラウドカットオーバーを控えたシステムでは、少なくとも4つの波形を分離して計測してこそ各階層の隠れたボトルネックを洗い出せます。[2][3]

試験類型負荷波形と条件主に見つけ出すボトルネックカットオーバー合格基準の例
平均・目標負荷(Average/Peak Load)平時ピークおよび目標トラフィックまで緩やかに上げて維持CPU・メモリの妥当性、DBスロークエリ、基本応答時間(p95・p99)目標ピーク負荷でエラー率が基準値以内かつp95応答時間を充足
急増負荷(Spike Test)メンテナンス終了・イベント開始のように数十秒内でトラフィックを数倍へ急増ロードバランサー・オートスケーリングの反応遅延、キュー飽和、スレッド枯渇スケールアウト完了前まで 5xx 連鎖崩壊なしに要求を吸収または安全に制限
未予熱切り替え(Cold-Cache Cutover)CDNとRedis・ローカルキャッシュを空にした状態で目標トラフィックを即時投入キャッシュスタンピード(Stampede)、オリジンDB CPU 100%急騰、初期タイムアウトキャッシュヒット率が正常軌道に乗るまでDBが停止せず耐える
長時間持続(Soak Test)平時〜準ピーク負荷を数時間以上にわたり連続維持メモリリーク、コネクション・ファイル記述子の未返却、ディスク・ログ飽和時間経過に伴うメモリ右肩上がりや遅延時間のドリフト(Drift)がない

負荷をかける際も、最も軽いトップ画面の照会だけを繰り返してはいけません。ログイン(セッション・トークン生成)、検索(DB・検索エンジン照会)、カート・注文(トランザクションロックと外部呼び出し)を実際の本番ログの比率どおりに混ぜることで、実戦と同じボトルネックが現れます。[3]

サービスの仕組み

本番トラフィックから改善の優先順位へ — 実際のリクエスト構成で負荷をモデル化し、ボトルネックの原因仮説と改善効果を再検証します。

オートスケーリングとDBコネクションプールはどこで先に詰まるか?

クラウドへ移行する際、「トラフィックが増えればオートスケーリングが自動でサーバーを増やしてくれる」と想定しがちです。しかしオートスケーリングは前段のWeb・アプリケーション階層の処理容量を増やすだけであり、起動遅延時間中の急増トラフィックと後段データベースの同時接続限界を自動で解決してはくれません。[2][4]

アプリケーションコンテナや仮想マシンが2台から10台へ増えれば、各インスタンスが作るDBコネクションプールも5倍に増えます。DBの最大許容接続数(max_connections)とCPUコア数が変わらないまま前段サーバーだけが増えると、かえってDBのロック競合と接続拒否が発生してサービス全体が止まります。[4]

  1. スケールアウトのリードタイム実測: 指標収集(1分)→拡張判定→イメージ取得・インスタンス起動→ヘルスチェック通過→最初のリクエスト処理までに実際何分かかるかをスパイク試験で秒単位に計測します。
  2. 前段インスタンス数×コネクションプール上限の検算: 最大スケールアウト状態でも全アプリケーションの合算コネクション数がDB許容上限の安全範囲内に収まるよう、プールサイズやプロキシ(Connection Pooler)を調整します。
  3. 外部APIタイムアウトとスレッド隔離: 外部PG、本人認証、通知サーバーの1つが遅くなった際に全ワーカースレッドが拘束されないよう、呼び出し別のタイムアウトとサーキットブレーカー(Circuit Breaker)を分離します。[4]

クラウドロードバランサーも予告のない急増トラフィックでは内部容量の拡張に時間を要する場合があるため、Google Cloudなどの負荷テストガイドではトラフィック増加の傾きと事前予熱条件を併せて考慮するよう説明しています。[2]

キャッシュが空の切り替え直後にオリジンサーバーをどう保護するか?

長年運用された既存サーバーが低いスペックでも耐えていた理由は、前段のCDNとアプリケーション内部のインメモリキャッシュが反復照会の大半を防いでいたためであるケースが多くあります。新しいクラウドへDNSやロードバランサーを切り替えた瞬間、新環境のキャッシュが空であれば、普段はDBまで届かないリクエストが一斉にオリジンサーバーを直撃します。

Cloudflareなどのエッジキャッシュ文書でも、多階層キャッシュ(Tiered Cache)とオリジン保護設計によってキャッシュミス(Cache Miss)がオリジンサーバーへ同時集中する現象を減らすよう案内しています。[6] カットオーバー計画には次の3つの保護装置を併せて組み込む必要があります。

  • キャッシュ事前予熱(Pre-warming): 利用者トラフィックを切り替える前に、主要トップページ、商品・告知一覧、共通設定データを内部スクリプトから先に呼び出し、アプリケーションキャッシュとCDNエッジへ格納します。
  • 段階的トラフィック切り替え(Weighted Cutover): 可能な場合は一度に100%を切り替えるのではなく、10%→30%→50%→100%の順で重みを上げながらキャッシュヒット率とオリジンDB負荷を確認します。[1]
  • 同一キー同時照会の統合(Request Coalescing): 人気ページのキャッシュが期限切れまたは空になった瞬間に数百件の要求が同じクエリを同時実行しないよう、単一更新ロックや短い猶予キャッシュ(Stale-While-Revalidate)を適用します。

CDNでキャッシュしてよい応答と個人情報・認証応答を分ける基準は、CDNを導入する前にキャッシュしてよい応答といけない応答を分ける方法で確認できます。

カットオーバー手順書の切り戻し期限(No-Go)とデータ逆同期はどう設計すべきか?

AWSのマイグレーションカットオーバーガイドとNISTのシステム 비상計画指針はいずれも、移行手順と同じ重みで切り戻し(Rollback/Fallback)の決定基準と復旧時間を事前に定義しリハーサルするよう求めています。[1][5]

最も多い失敗は、午前2時〜6時のメンテナンス枠で午前5時50分まで新環境のエラーを直そうと粘り、結局時間内にロールバックもできずメンテナンス時間を超過することです。ロールバックを決断する締切時刻(No-Go Point)は、メンテナンス終了時刻から実際に旧環境へ戻すのに要する時間を引いて定める必要があります。[1]

切り替え段階この段階で発見された障害ロールバック難易度とデータ影響安全な切り戻し手順
1. 最終同期および内部スモーク検証中(外部トラフィック開放前)主要機能の失敗、データ件数・チェックサムの不一致低い(新環境に顧客の書き込み取引がない)トラフィック切り替えを保留し、旧環境のメンテナンスモードを解除して即時復帰
2. 読み取り専用またはカナリア(一部)トラフィック開放直後コールドキャッシュ過負荷、特定ネットワーク・外部連携タイムアウト中程度(少数の変更取引のみ発生)重みを旧環境へ戻し、流入した少数の変更案件を突合・保全
3. 全書き込み・決済トラフィック開放後DB整合性エラー、決済・認証の連鎖失敗により正常運用が不可能高い(新DBに新しい注文・決済が蓄積した状態)新規書き込みを遮断→変更分の逆同期(Reverse Sync)または隔離保全→旧環境へ復帰

書き込み取引が始まった後のロールバックはコードではなくデータの問題である

アプリケーションコンテナを前の版へ戻す作業は数分で終わりますが、新しいクラウドDBですでに生成された注文と決済データを旧環境DBへ戻す作業は準備なしには不可能です。コード・設定・DB・トラフィックを揃えるデプロイ設計はロールバック可能なデプロイを作る方法:コード・設定・DB・トラフィックを共に設計するで、復旧目標時間と時点の基準はRTOとRPOで災害復旧水準とコストを決める方法で詳しく扱っています。

したがってカットオーバー手順書には、①事前にDNS TTLを何秒まで下げておくか、②新規公開後の最初の30分間は旧DBへの逆方向レプリケーション(CDC)を維持するか、③切り戻し命令を下す単一の決裁者が誰であるかを時刻単位で記す必要があります。[1]

サービスの仕組み

依存関係を確認し、移行を検証 — 一緒に移すシステムを整理し、リハーサルと切戻し条件を整えてから本番移行を実施します。

切り替えリハーサルではどの指標を見て進行(Go)と中止(No-Go)を判定するか?

カットオーバーリハーサル(模擬切り替え)は、「順番どおりにコマンドが実行されるか」だけを見る場ではなく、各段階の実所要時間と中止閾値を計測する場です。[1] リハーサルを一度でも実測しておけば、当日早朝に勘で粘る事態を防げます。

リハーサル点検区間実測して記録する値進行(Go)判定条件中止・ロールバック(No-Go)トリガー
DB最終同期および整合性突合差分データ反映の所要時間、テーブル別の行数・合計突合時間割り当てられた時間枠内に漏れ・不一致0件で完了締切時刻までに基幹元帳の不一致が未解消、または同期遅延が枠を超過
外部連携およびファイアウォール・認証スモークPG、本人認証、メッセージング、社内基幹APIの往復応答結果必須の外部連携全項目で正常応答および認証通過決済承認・本人認証など必須取引経路の遮断が未解決
負荷投入およびコールドキャッシュ予熱キャッシュ予熱の所要時間、初期ピーク投入時のp95遅延とエラー率目標同時要求で 5xx エラー率とDB CPUが許容線以内を維持コネクションプール枯渇、OOM再起動の反復、連鎖タイムアウトの持続
ロールバック(Switch-back)模擬実行トラフィック復帰+旧環境正常化+データ確認までの総所要時間実測されたロールバック時間がメンテナンス枠の余裕時間より短いロールバック手順自体が失敗、または所要時間が未確認の状態

段階別の切り替え順序と役割分担を記す実務様式は、クラウドマイグレーション手順書、クラウド着手チェックリスト、リリース準備点検表でそのまま参照できます。

切り替え直後の安定化期間には何を集中観測すべきか?

早朝のカットオーバーが無事に終わったからといって検証が完了したわけではありません。実際の業務時間帯の最初の1週間には、早朝のスモークテストでは見えなかったバッチ処理、精算突合、コネクションリークが順に姿を現します。

  1. 時間帯別ピークとバッチ処理の重なり確認: 午前の出勤・注文ピークと夜間の精算・バックアップバッチが、新クラウドのIOPSやネットワーク帯域を奪い合っていないか確認します。
  2. 外部Webhookとコールバックの到達有無の点検: PGの決済Webhookや外部パートナーのコールバックが旧サーバーIPや旧ドメインへ飛び続けて消失していないか受信ログを照合します。
  3. 余裕容量(Headroom)とコストガードレールの調整: 切り替え初期の安全のために手厚く起動しておいたインスタンスとDBスペックを、最低1〜2週間の実測ピーク指標で確認した後に適正規模(Rightsizing)へ調整します。

推測ではなく実測された限界と復旧時間で切り替えるために

クラウド移行と大規模トラフィック切り替えを安全に終えるチームは、「障害が起きないことを祈るチーム」ではなく、「どの負荷でどこが先に詰まるかを知り、何分以内に切り戻せるかを測っておいたチーム」です。

カットオーバーや大型公開を控えているなら、今①コールドキャッシュとスパイクを含むジャーニーベースの負荷シナリオ、②前段の最大スケールアウトと後段DBコネクション上限の整合性、③データ保全を含むロールバック締切時刻(No-Go Point)の3点が数値で埋まっているか確認してみてください。

切り替え前のボトルネック実測と障害復旧リハーサル、安全なクラウドアーキテクチャ設計と移行実行が必要な場合は、性能・負荷テストサービス、クラウドマイグレーションサービス、クラウドインフラ構築サービスでプロジェクト範囲をご相談いただけます。