왜 사전 부하 테스트를 통과하고도 컷오버 당일에 장애가 날까?
온프레미스나 기존 호스팅에서 새 클라우드로 이전할 때 대다수 팀은 오픈 전에 부하 테스트 도구를 돌려 목표 초당 요청 수(RPS)를 확인합니다. 그런데 테스트에서 문제없던 시스템이 정작 일요일 새벽 컷오버 직후나 월요일 오전 첫 피크에 응답 지연과 연결 오류로 멈추는 일이 반복됩니다.
원인은 부하 테스트의 유무가 아니라 시험한 조건과 실제 전환 순간의 상태가 다르기 때문입니다. 사전 테스트는 이미 데이터가 캐시에 올라와 있고 단일 조회 API만 일정한 속도로 호출하는 환경에서 돌리는 반면, 실제 컷오버 직후에는 캐시가 비어 있고 점검 종료를 기다리던 사용자가 한꺼번에 로그인과 쓰기 요청을 쏟아냅니다.[2][4]
또한 전환 당일에는 애플리케이션만 바뀌는 것이 아니라 DNS 전파, 로드밸런서 예열, 방화벽·NAT 세션, 데이터베이스 커넥션 풀, 외부 PG·인증 기관의 허용 IP가 동시에 맞물립니다.[1][2] 어느 한 구간이라도 한계를 넘으면 지연이 앞단으로 전파되는 연쇄 장애(Cascading Failure)가 발생합니다.[4]
단일 서버의 기초 용량을 재는 방법은 2 vCPU·4GB 서버는 어디까지 사용할 수 있을까: 추측 대신 측정하는 법에서 다룹니다. 이 글은 그 측정 원리를 클라우드 이전과 대규모 트래픽 전환에 확장해 시험 유형별 설계, 콜드 캐시 보호, 커넥션 병목, 컷오버 런북의 되돌림(Rollback) 검증 기준을 정리합니다.
평균 부하·스파이크·콜드 캐시·장시간 시험은 각각 무엇을 찾아낼까?
부하 테스트를 “동시 접속자 N명을 10분 동안 넣는 시험” 하나로 끝내면 전환 당일의 실패 원인을 절반도 찾지 못합니다. Grafana k6 등 성능 검증 표준 가이드는 확인하려는 위험에 따라 시험의 파형(Workload Profile)을 나누어 실행하도록 안내합니다.[3]
클라우드 컷오버를 앞둔 시스템은 최소 네 가지 파형을 분리해 측정해야 각 계층의 숨은 병목을 드러낼 수 있습니다.[2][3]
| 시험 유형 | 부하 파형과 조건 | 주로 찾아내는 병목 | 컷오버 합격 기준 예시 |
|---|---|---|---|
| 평균·목표 부하 (Average/Peak Load) | 평시 피크 및 목표 트래픽까지 완만하게 올려 유지 | CPU·메모리 적정성, DB 슬로우 쿼리, 기본 응답 시간(p95·p99) | 목표 피크 부하에서 오류율 기준치 이내 및 p95 응답 시간 충족 |
| 급증 부하 (Spike Test) | 점검 종료·이벤트 오픈처럼 수십 초 안에 트래픽을 몇 배로 급증 | 로드밸런서·오토스케일링 반응 지연, 대기열 포화, 스레드 고갈 | 스케일 아웃 완료 전까지 5xx 연쇄 붕괴 없이 요청 흡수 또는 우아한 제한 |
| 미예열 전환 (Cold-Cache Cutover) | CDN과 Redis·로컬 캐시를 비운 상태에서 목표 트래픽 즉시 투입 | 캐시 스탬피드(Stampede), 원본 DB CPU 100% 급등, 초기 타임아웃 | 캐시 적중률이 정상 궤도에 오를 때까지 DB가 죽지 않고 버팀 |
| 장시간 지속 (Soak Test) | 평시~준피크 부하를 수 시간 이상 연속 유지 | 메모리 누수, 커넥션·파일 디스크립터 미반환, 디스크·로그 포화 | 시간 경과에 따른 메모리 우상향이나 지연 시간 표류(Drift) 없음 |
부하를 줄 때도 가장 가벼운 메인 화면 조회만 반복해서는 안 됩니다. 로그인(세션·토큰 생성), 검색(DB·검색엔진 조회), 장바구니·주문(트랜잭션 잠금과 외부 호출)을 실제 운영 로그의 비율대로 섞어야 실전과 같은 병목이 나타납니다.[3]
운영 트래픽에서 개선 우선순위까지 — 실제 요청의 구성으로 부하를 만들고 병목의 원인 가설과 개선 효과를 재검증합니다.
오토스케일링과 DB 커넥션 풀은 어디서 먼저 막힐까?
클라우드로 이전하면서 “트래픽이 늘면 오토스케일링이 알아서 서버를 늘려준다”고 가정하는 경우가 많습니다. 하지만 오토스케일링은 앞단 웹·애플리케이션 계층의 처리 용량을 늘려줄 뿐, 기동 지연 시간 동안의 급증 트래픽과 뒷단 데이터베이스의 동시 연결 한계를 자동으로 해결해 주지 않습니다.[2][4]
애플리케이션 컨테이너나 가상머신이 2대에서 10대로 늘어나면 각 인스턴스가 만드는 DB 커넥션 풀도 5배로 늘어납니다. DB의 최대 허용 연결(max_connections)과 CPU 코어 수가 그대로인 상태에서 앞단 서버만 늘어나면, 오히려 DB 잠금 경합과 연결 거절이 발생해 전체 서비스가 멈춥니다.[4]
- 스케일 아웃 리드타임 실측: 지표 수집(1분) → 확장 결정 → 이미지 풀·인스턴스 기동 → 헬스체크 통과 → 첫 요청 처리까지 실제로 몇 분이 걸리는지 스파이크 시험에서 초 단위로 측정합니다.
- 앞단 인스턴스 수 × 커넥션 풀 상한 검산: 최대 스케일 아웃 상태에서도 전체 애플리케이션의 합산 커넥션 수가 DB 허용 한도의 안전 범위 안에 들어오도록 풀 크기나 프록시(Connection Pooler)를 조정합니다.
- 외부 API 타임아웃과 스레드 격리: 외부 PG, 본인인증, 알림 서버 하나가 느려졌을 때 전체 워커 스레드가 묶이지 않도록 호출별 타임아웃과 회로 차단기(Circuit Breaker)를 분리합니다.[4]
클라우드 로드밸런서 역시 예고 없는 급증 트래픽에서는 내부 용량 확장에 시간이 걸릴 수 있으므로, Google Cloud 등의 부하 테스트 가이드는 트래픽 증가 기울기와 사전 예열 조건을 함께 고려하도록 설명합니다.[2]
캐시가 비어 있는 전환 직후에 원본 서버를 어떻게 보호할까?
오래 운영된 기존 서버가 낮은 사양으로도 버텼던 이유는 앞단의 CDN과 애플리케이션 내부의 인메모리 캐시가 반복 조회의 대부분을 막아주고 있었기 때문인 경우가 많습니다. 새 클라우드로 DNS나 로드밸런서를 전환하는 순간, 새 환경의 캐시가 비어 있다면 평소에는 DB까지 오지 않던 요청이 한꺼번에 원본 서버를 때립니다.
Cloudflare 등의 엣지 캐시 문서도 다계층 캐시(Tiered Cache)와 원본 보호 설계를 통해 캐시 미스(Cache Miss)가 원본 서버로 동시 집중되는 현상을 줄이도록 안내합니다.[6] 컷오버 계획에는 다음 세 가지 보호 장치가 함께 들어가야 합니다.
- 캐시 사전 예열(Pre-warming): 트래픽을 전환하기 전에 주요 메인 페이지, 상품·공지 목록, 공통 설정 데이터를 내부 스크립트로 먼저 호출해 애플리케이션 캐시와 CDN 엣지에 적재합니다.
- 단계적 트래픽 전환(Weighted Cutover): 가능한 경우 한 번에 100%를 넘기지 않고 10% → 30% → 50% → 100% 순서로 가중치를 올리며 캐시 적중률과 원본 DB 부하를 확인합니다.[1]
- 동일 키 동시 조회 합치기(Request Coalescing): 인기 페이지의 캐시가 만료되거나 비어 있는 순간 수백 개의 요청이 동시에 같은 쿼리를 실행하지 않도록 단일 갱신 잠금이나 짧은 유예 캐시(Stale-While-Revalidate)를 적용합니다.
CDN에서 캐시해도 되는 응답과 개인정보·인증 응답을 구분하는 기준은 CDN을 붙이기 전에 캐시해도 되는 응답과 안 되는 응답을 나누는 법에서 확인할 수 있습니다.
컷오버 런북의 되돌림 마감선(No-Go)과 데이터 역동기화는 어떻게 설계할까?
AWS의 마이그레이션 컷오버 가이드와 NIST의 시스템 비상 계획 지침은 모두 전환 절차만큼이나 되돌림(Rollback/Fallback) 결정 기준과 복구 시간을 사전에 정의하고 리허설하도록 요구합니다.[1][5]
가장 흔한 실패는 오전 2시~6시 점검 창에서 오전 5시 50분까지 새 환경 오류를 고치려다 결국 시간 안에 롤백도 못 하고 점검 시간을 넘기는 것입니다. 롤백을 결정하는 마감 시각(No-Go Point)은 점검 종료 시각에서 실제로 구 환경으로 되돌리는 데 걸리는 시간을 빼서 정해야 합니다.[1]
| 전환 단계 | 이 단계에서 발견된 장애 | 롤백 난이도와 데이터 영향 | 안전한 되돌림 절차 |
|---|---|---|---|
| 1. 최종 동기화 및 내부 스모크 검증 중 (외부 트래픽 오픈 전) | 핵심 기능 실패, 데이터 건수·체크섬 불일치 | 낮음 (신규 환경에 고객 쓰기 거래 없음) | 트래픽 전환을 보류하고 구 환경의 점검 모드를 해제해 즉시 복귀 |
| 2. 읽기 전용 또는 카나리(일부) 트래픽 오픈 직후 | 콜드 캐시 과부하, 특정 네트워크·외부 연동 타임아웃 | 중간 (소수 변경 거래만 발생) | 가중치를 구 환경으로 되돌리고 유입된 소수 변경 건을 대사·보전 |
| 3. 전체 쓰기·결제 트래픽 오픈 후 | DB 정합성 오류, 결제·인증 연쇄 실패로 정상 운영 불가 | 높음 (신규 DB에 새 주문·결제가 쌓인 상태) | 신규 쓰기 차단 → 변경분 역동기화(Reverse Sync) 또는 격리 보존 → 구 환경 복귀 |
쓰기 거래가 시작된 뒤의 롤백은 코드가 아니라 데이터 문제입니다
애플리케이션 컨테이너를 이전 버전으로 되돌리는 일은 몇 분이면 끝나지만, 새 클라우드 DB에서 이미 생성된 주문과 결제 데이터를 구 환경 DB로 되돌리는 일은 준비 없이는 불가능합니다. 코드·설정·DB·트래픽을 함께 맞추는 배포 설계는 롤백 가능한 배포를 만드는 법: 코드·설정·DB·트래픽을 함께 설계하기에서, 복구 목표 시간과 시점 기준은 RTO와 RPO로 재해복구 수준과 비용을 정하는 법에서 자세히 다룹니다.
따라서 컷오버 런북에는 ①사전에 DNS TTL을 몇 초로 낮춰 둘 것인지, ②신규 오픈 후 첫 30분 동안 구 DB로의 역방향 복제(CDC)를 유지할 것인지, ③되돌림 명령을 내릴 단일 결정권자가 누구인지를 시각 단위로 적어야 합니다.[1]
의존 관계를 확인하고 전환을 검증 — 함께 움직여야 할 시스템을 묶고 리허설과 되돌릴 조건을 갖춘 뒤 실제 전환을 수행합니다.
전환 리허설에서는 어떤 지표를 보고 진행(Go)과 중단(No-Go)을 판정할까?
컷오버 리허설(모의 전환)은 “순서대로 명령어가 실행되는가”만 보는 자리가 아니라 각 단계의 실제 소요 시간과 중단 임계치를 재는 자리입니다.[1] 리허설을 한 번이라도 실측하면 당일 새벽에 감으로 버티는 일을 막을 수 있습니다.
| 리허설 점검 구간 | 실측해서 기록할 값 | 진행(Go) 판정 조건 | 중단·롤백(No-Go) 트리거 |
|---|---|---|---|
| DB 최종 동기화 및 정합성 대사 | 델타 데이터 반영 소요 시간, 테이블별 행 수·합계 대사 시간 | 할당된 점검 시간 안에 누락·불일치 0건으로 완료 | 마감 시각까지 핵심 원장 불일치 미해소 또는 동기화 지연 초과 |
| 외부 연계 및 방화벽·인증 스모크 | PG, 본인인증, 메시징, 사내 기간계 API 왕복 응답 결과 | 필수 외부 연동 전 항목 정상 응답 및 인증 통과 | 결제 승인·본인인증 등 필수 거래 경로 차단 미해결 |
| 부하 투입 및 콜드 캐시 예열 | 캐시 예열 소요 시간, 초기 피크 투입 시 p95 지연과 오류율 | 목표 동시 요청에서 5xx 오류율과 DB CPU가 허용선 이내 유지 | 연결 풀 고갈, OOM 재시작 반복, 연쇄 타임아웃 지속 |
| 롤백(Switch-back) 모의 실행 | 트래픽 복귀 + 구 환경 정상화 + 데이터 확인까지의 총 소요 시간 | 실측된 롤백 시간이 점검 창 여유 시간보다 짧음 | 롤백 절차 자체가 실패하거나 소요 시간이 미확인 상태 |
단계별 전환 순서와 역할 분담을 적는 실무 양식은 클라우드 마이그레이션 런북과 클라우드 착수 체크리스트, 릴리스 준비 점검표에서 바로 참고할 수 있습니다.
전환 직후 안정화 기간에는 무엇을 집중 관측해야 할까?
새벽 컷오버가 무사히 끝났다고 해서 검증이 끝난 것은 아닙니다. 실제 업무 시간대의 첫 일주일 동안에는 새벽 스모크 테스트에서 보이지 않던 배치 작업, 정산 대사, 커넥션 누수가 차례로 모습을 드러냅니다.
- 시간대별 피크와 배치 작업의 겹침 확인: 오전 출근·주문 피크와 야간 정산·백업 배치가 새 클라우드의 IOPS나 네트워크 대역폭을 두고 경합하지 않는지 확인합니다.
- 외부 웹훅과 콜백의 도달 여부 점검: PG 결제 웹훅이나 외부 파트너 콜백이 구 서버 IP나 옛 도메인으로 계속 날아가 유실되고 있지 않은지 수신 로그를 대조합니다.
- 여유 용량(Headroom)과 비용 가드레일 조정: 전환 초기 안전을 위해 넉넉히 띄워 둔 인스턴스와 DB 사양을 최소 1~2주간의 실측 피크 지표로 확인한 뒤 적정 규모(Rightsizing)로 조정합니다.
추측이 아니라 실측된 한계와 복구 시간으로 전환하려면
클라우드 이전과 대규모 트래픽 전환을 안전하게 마치는 팀은 “장애가 안 나길 바라는 팀”이 아니라 “어느 부하에서 어디가 먼저 막히는지 알고, 몇 분 안에 되돌릴 수 있는지 재어 본 팀”입니다.
컷오버나 대형 오픈을 앞두고 있다면 ①콜드 캐시·스파이크를 포함한 부하 시나리오, ②최대 스케일 아웃과 DB 커넥션 한도의 정합성, ③데이터 보전이 포함된 롤백 마감 시각(No-Go Point) 세 가지가 숫자로 채워져 있는지 먼저 점검합니다.
전환 전 병목 실측과 장애 복구 리허설, 안전한 클라우드 아키텍처 설계와 이전 실행이 필요하다면 성능·부하 테스트 서비스와 클라우드 마이그레이션 서비스, 클라우드 인프라 구축 서비스에서 프로젝트 범위를 함께 검토합니다.



