왜 내부망과 공공 사업의 테스트 자동화는 구축 뒤 멈추기 쉬울까?

공공기관과 금융·규제 산업의 정보시스템은 법령 개정, 민원 화면 개편, 클라우드 전환, 정기 보안 패치로 유지보수 배포가 끊이지 않습니다. 동시에 배포마다 기능 회귀 시험결과서와 화면 증적을 문서로 남겨야 하므로 수동 테스트만으로는 일정과 인력을 감당하기 어렵습니다.

그래서 차세대 구축이나 고도화 사업에서 테스트 자동화를 도입하지만, 정작 오픈 직후나 유지보수 단계로 넘어가는 순간 실행이 멈추는 사례가 적지 않습니다. 원인은 도구 자체의 성능보다 망분리 환경의 패키지·브라우저 실행 제약, 외부 연계 구간의 테스트 데이터 오염, 검수 양식과 동떨어진 실행 로그 세 가지에 있습니다.[1][2]

인터넷이 열린 개발 환경에서 잘 돌던 스크립트도 내부 검증망에 반입하면 브라우저 바이너리를 내려받지 못해 첫 줄에서 멈춥니다. 또한 본인인증이나 타 기관 연계 API가 막혀 있다는 이유로 핵심 업무 흐름 전체를 자동화에서 빼버리면 로그인과 단순 조회만 확인하는 반쪽짜리 자산만 남습니다.

자동화 범위를 고르는 일반 원칙은 테스트 자동화는 무엇부터 하고 무엇은 사람에게 남겨야 할까에서 다룹니다. 이 글은 그 기준을 망분리·공공 시스템과 규제 환경에 적용해 실행 환경 고정, 연계 구간 분리, 검수 증적 설계, 유지보수 인계 기준을 구체화합니다.

망분리 환경에서 실행기와 브라우저 버전은 어떻게 고정해야 할까?

Playwright, Selenium, Appium 같은 자동화 도구는 기본적으로 설치나 첫 실행 시점에 외부 저장소에서 브라우저 실행 파일과 드라이버를 내려받습니다.[3] 외부 통신이 차단된 내부망이나 망분리 검증 서버에서는 이 기본 동작이 곧바로 설치 실패와 버전 불일치로 이어집니다.

내부망 자동화가 안정적으로 돌아가려면 스크립트 저장소만 반입할 것이 아니라 실행 런타임, 브라우저 바이너리, 모바일 드라이버, 의존성 패키지를 하나의 버전 고정 세트로 묶어 반입해야 합니다.[3][5]

구성 요소외부 인터넷 환경의 기본 동작망분리·내부망에서 흔히 나는 실패내부망 고정 설계 기준
브라우저 바이너리설치 시 Chromium·Firefox 등을 외부에서 다운로드바이너리 경로 누락 또는 OS 기본 브라우저와 버전 충돌지정 버전 브라우저 아카이브를 반입하고 환경변수로 로컬 경로 고정
패키지·라이브러리npm·pip·maven 원격 레지스트리 실시간 조회보안 게이트웨이 차단으로 빌드·설치 중단사내 아티팩트 저장소 미러링 또는 오프라인 lockfile·캐시 번들 반입
모바일 기기·Appium클라우드 디바이스 팜 또는 외부 드라이버 다운로드USB 디버깅 정책 제한 및 드라이버 설치 실패내부 검증실 전용 실단말·에뮬레이터와 오프라인 드라이버 버전 고정
CI 실행 에이전트SaaS형 GitHub Actions·외부 러너에서 즉시 실행내부 검증 서버로 네트워크 접근 불가내부망 전용 Self-hosted Runner 또는 내부 Jenkins·GitLab CI 에이전트 배치

특히 기관 PC나 검증 서버의 운영체제 보안 패치로 기본 브라우저 버전이 예고 없이 바뀌면 어제까지 통과하던 화면 테스트가 일제히 깨집니다. 실행 서버에서는 자동 업데이트가 켜진 사용자용 브라우저 대신 테스트 런타임에 묶인 전용 브라우저 바이너리를 바라보게 고정해야 재현성이 유지됩니다.[3]

반입 절차와 보안 점검을 배포 파이프라인에 맞춥니다

내부망으로 테스트 코드를 옮길 때마다 수동 압축 파일로 복사하면 어느 버전의 애플리케이션을 어느 버전의 테스트 스크립트로 검증했는지 추적이 끊깁니다. NIST의 안전 소프트웨어 개발 프레임워크(SSDF)도 빌드·검증 환경의 구성과 산출물 무결성을 버전 단위로 기록하도록 권고합니다.[5]

망간 자료전송 시스템을 거치더라도 애플리케이션 빌드 태그와 테스트 스크립트 커밋 해시, 실행에 사용한 브라우저 버전을 실행 리포트 머리말에 함께 찍어야 나중에 회귀 실패가 났을 때 코드 변경 때문인지 환경 변화 때문인지 가려낼 수 있습니다.

서비스 작동 방식

실행 결과의 신뢰를 지키는 유지관리 — 변경에 강한 식별자로 실행하고 실패 원인을 분류해 보완한 뒤 다시 검증합니다.

외부 기관 연계와 본인인증 구간은 어떻게 나누어 검증할까?

공공 서비스와 기업 핵심 시스템은 공동인증서·간편인증, 행정정보 공동이용, 외부 결제·수납, 문자·알림 발송처럼 조직 밖의 시스템과 맞물려 돌아갑니다. 검증망에서 외부 기관 실서버를 반복 호출할 수 없다고 해서 그 뒤에 이어지는 신청·심사·정산 화면까지 모두 수동 검증으로 남겨두면 자동화의 효과가 급격히 떨어집니다.

해법은 외부 연계 자체의 소통 확인과 연계 이후 내부 업무 로직의 회귀 검증을 두 겹으로 분리하는 것입니다.[1]

  1. 내부 업무 회귀 계층(대역 서버·검증 전용 토큰): 검증 환경에 한해 외부 기관의 정상·지연·오류 응답을 돌려주는 대역 서버(Stub)나 검증 전용 계정을 써서 신청·승인·반려·취소 흐름을 배포마다 자동 실행합니다.
  2. 연계 계약 검증 계층(Schema & Contract Check): 우리 시스템이 외부 기관으로 보내는 요청 전문의 필수 필드, 암호화·서명 형식, 타임아웃과 오류 코드 처리가 연계 정의서와 일치하는지 API 계층에서 자동으로 검사합니다.
  3. 실연계 스모크 계층(승인된 점검 창구): 실제 외부 테스트 서버와의 통신 확인은 기관이 합의한 점검 시간대에 최소 건수의 스모크 시나리오로만 분리해 실행하고 결과를 별도 항목으로 기록합니다.

이때 검증망 전용 인증 경로나 대역 설정이 운영 환경에 절대 반영되지 않도록 환경 분리와 권한 검증을 함께 걸어야 합니다. OWASP 애플리케이션 보안 검증 표준(ASVS) 역시 테스트용 백도어나 개발용 설정이 운영 빌드에 포함되지 않도록 통제하고 권한 경계를 서버에서 검증할 것을 요구합니다.[4]

웹 화면, 모바일 앱, API 중 어디에 회귀 테스트를 배치해야 할까?

모든 검증을 브라우저 화면 클릭(E2E UI)으로만 구현하면 실행 시간이 길어지고 화면 문구나 배치가 조금만 바뀌어도 스크립트가 깨집니다. 반대로 API만 검사하면 브라우저 렌더링 오류나 모바일 웹뷰의 스크립트 충돌을 놓칩니다.

유지보수 배포가 잦은 시스템일수록 확인하려는 목적에 따라 웹·모바일 UI와 API 계층의 역할을 명확히 나누어야 합니다.[1][6]

검증 계층주로 확인할 대상권장 비중과 실행 시점깨짐을 줄이는 설계 방법
API 회귀 검증권한 등급별 접근 통제, 입력값 검증, 상태 전이, 오류 응답 코드높음 (커밋·일일 배포마다 즉시 실행)화면 없이 요청·응답 스키마와 DB 상태 변화를 빠르게 단언
웹 핵심 여정(UI)로그인, 민원·주문 신청, 첨부 제출, 최종 결과 조회 등 대표 업무 흐름중간 (배포 게이트 및 야간 회귀 실행)CSS 클래스 대신 역할(Role)·명시적 테스트 속성 기준으로 요소 선택
모바일 앱·웹뷰네이티브 권한, 앱 내 웹뷰 전환, 기기별 화면 깨짐과 푸시 진입핵심 시나리오 집중 (릴리스 후보 빌드 검증)기관 표준 지원 단말·OS 버전 목록을 착수 시점에 확정해 반복 실행
전환·성능 비교클라우드 전환 전후 동일 시나리오의 응답 시간 및 오류율 비교전환 리허설 및 대규모 변경 직전기능 회귀 시나리오와 부하 시나리오의 기준 지표를 함께 기록

회귀 범위를 코드 변경량이 아니라 위험도와 업무 중요도로 좁히는 기준은 회귀 테스트 범위는 코드 변경량이 아니라 무엇으로 정해야 할까와 회귀 테스트 범위 산정 워크북에서 바로 활용할 수 있습니다.

감리·검수 산출물과 자동 실행 증적을 어떻게 연결할까?

공공 SI 사업과 대기업 프로젝트에서는 “CI 파이프라인이 초록불(Pass)입니다”라는 화면 하나로 검수를 통과할 수 없습니다. 발주처 감독관과 감리원은 요구사항 정의서의 각 항목이 어떤 테스트 케이스로 검증됐고, 언제 실행되어 어떤 화면과 데이터 결과를 남겼는지 문서로 확인합니다.[2]

ISO/IEC/IEEE 29119-3 테스트 문서화 표준도 테스트 계획, 설계 명세, 절차, 실행 로그, 완료 보고가 추적 가능한 식별자로 이어져야 한다고 정의합니다.[2] 자동화 리포트가 검수 자료로 곧바로 쓰이려면 스크립트 실행 결과가 다음 네 가지 정보를 자동으로 묶어 내보내야 합니다.

  • 요구사항·업무 식별자 연결: 각 자동 테스트 케이스에 요구사항 ID(예: REQ-014)와 업무 분류를 메타데이터로 부여해 요구사항 추적표(RTM)와 1:1로 대조되게 합니다.
  • 실행 단계별 시각 증적: 최종 성공 여부뿐 아니라 주요 입력 단계와 완료 화면의 스크린샷, 재생 영상, API 요청·응답 요약을 실행 시각과 함께 보존합니다.
  • 미검증·제외 범위의 명시적 분리: 자동화 대상에서 제외한 항목, 환경 제약으로 이번 회차에 건너뛴 항목(SKIPPED), 아직 실행하지 않은 항목을 ‘통과’에 섞지 않고 별도 표로 분리합니다.
  • 결함 조치와 재검증 이력: 실패한 케이스가 어느 결함 티켓으로 등록됐고, 수정 배포 뒤 같은 케이스를 다시 실행해 통과한 시각과 빌드 번호가 무엇인지 한 줄로 잇습니다.

요구사항 변경과 테스트 케이스를 연결하는 방법은 요구사항이 바뀔 때 테스트 누락을 줄이는 추적성 설계에서, 검수에 제출할 품질 증적 구성은 품질 증적 자료에서 자세히 다룹니다.

서비스 작동 방식

제품 맥락을 지키며 실행 규모를 조정 — 고정 리드가 기준과 이력을 이어가고 구간별 스쿼드의 실행 결과를 출시 판단의 근거로 모읍니다.

실패 로그가 쌓일 때 제품 결함과 환경·스크립트 문제를 어떻게 가려낼까?

자동 테스트를 몇 달 운영하다 보면 실패 알림의 절반 이상이 실제 소프트웨어 버그가 아니라 테스트 데이터 소진, 연계 서버 일시 중단, 화면 개편 후 미수정 스크립트에서 발생합니다. 모든 실패를 똑같은 붉은색 오류로만 던져주면 운영팀은 곧 리포트를 보지 않게 됩니다.

실행 리포트와 실패 대장은 실패 원인을 최소 세 갈래로 분류해 조치 담당자를 바로 지정해야 합니다.[6]

실패 분류대표적인 징후1차 조치 담당재발 방지 조치
제품·업무 결함화면·API 동작이 요구사항과 다름, 권한 우회나 500 서버 오류 발생개발·수행사 담당자결함 티켓 발행 후 수정 빌드에서 동일 자동 케이스로 재검증
테스트 환경·데이터 문제테스트 계정 잠김, 재고·예산 데이터 소진, 검증망 DB·대역 서버 응답 없음인프라·검증 환경 운영자실행 전 데이터 초기화(Seeding) 자동화 및 환경 사전 헬스체크 분리
스크립트 노후(Stale Script)의도된 UI 문구·동선 개편 후 예전 선택자를 찾지 못해 타임아웃 발생QA·자동화 유지 담당자화면 변경 PR과 테스트 선택자 수정을 같은 릴리스 주기에 묶어 갱신

실패 원인을 기록하고 회귀 자산으로 관리하는 실무 양식은 테스트 자동화 실패 관리 대장에서 내려받아 적용할 수 있습니다.

사업 종료 시 수행사 인계와 유지보수 계약은 어디까지 적어야 할까?

구축 사업이 끝날 때 스크립트 압축 파일 하나만 넘겨받고 인계를 마치면, 다음 달 유지보수 배포부터는 아무도 그 테스트를 돌리지 못합니다. 발주 기관이나 운영 부서가 자산을 실제로 이어받으려면 착수 시점부터 인계 산출물과 유지 책임을 문서로 합의해야 합니다.

외주·SI 인수 단계의 전반적인 품질 확인 기준은 외주·SI 결과물을 인수하기 전에 합의해야 할 품질 기준과 QA 아웃소싱 가이드에서 다룹니다. 테스트 자동화 자산을 인수할 때는 아래 네 가지를 인수 검수 조건에 포함합니다.

  1. 독립 실행 재현성 확인: 수행사 개발자 노트북이 아니라 기관의 내부 검증 서버 또는 인수 환경에서 문서에 적힌 명령만으로 전체 회귀 세트가 끝까지 실행되는지 입회 확인합니다.
  2. 테스트 데이터 준비·초기화 장치 인계: 반복 실행해도 ‘이미 신청된 민원’이나 ‘잔액 부족’ 오류가 나지 않도록 사전 데이터 생성·초기화 스크립트와 계정 목록을 함께 넘깁니다.
  3. 요구사항 매핑과 제외 목록 인계: 전체 기능 중 자동화된 범위와 수동 검증으로 남긴 범위를 목록으로 분명히 밝혀, 다음 운영자가 자동화만 믿고 수동 필수 확인을 빼먹지 않게 합니다.
  4. 유지보수 주기와 스크립트 수정 책임 합의: 화면이나 업무 규칙이 바뀔 때 누가 언제 스크립트를 갱신할지 정하고, 내부 인력이 직접 유지하기 어려운 구간은 유지관리 계약 범위로 남깁니다.

공공·내부망 테스트 자동화를 도입하기 전에 확인할 것

망분리와 공공 시스템에서 테스트 자동화가 성공하려면 “몇 개의 테스트 케이스를 만들었는가”보다 “다음 유지보수 배포에서 사람이 개입하지 않고도 돌아가고, 그 결과가 그대로 검수 증적이 되는가”를 기준으로 삼아야 합니다.

도입을 앞두고 있다면 먼저 ①테스트가 실행될 망 환경과 외부 접속 허용 범위, ②웹·모바일·API 계층별 검증 비중, ③검수 문서에 요구되는 실행 로그와 미검증 분리 양식을 세 줄로 정리해 보시기 바랍니다.

공공기관 테스트 자동화 서비스는 공공 웹·모바일·API 회귀 검증 구축부터 코어틱스(Qoretix) 기반 실행 로그와 미검증 리포트, 산출물 인계까지 한 흐름으로 지원합니다. 정보시스템개발서비스 등 5개 세부품명의 직접생산확인과 소프트웨어사업자 등록 자격을 갖추고 있습니다.[6] 일반 기업과 기관의 구축 범위는 테스트 자동화 서비스와 QA 아웃소싱 서비스에서 함께 검토합니다.