게시 날짜와 정책 효력 날짜가 다를 수 있다
가상의 배송 정책 변경입니다. 담당자가 금요일 오후에 새 문서를 승인했지만 적용 대상은 월요일 오전 9시 이후 접수한 주문입니다. 월요일에 사내 검색에서 지난주 주문을 물으면 예전 기준이 맞을 수 있습니다. ‘오늘 주문하면 언제 출고하나요?’라는 질문에는 현재 기준이 적용돼야 합니다. 파일이 올라온 시각이나 문서 제목의 연도만 보고 정렬하면 두 질문을 같은 정책으로 답하게 됩니다.
검색 증강 생성(RAG)은 질문과 관련된 문서를 검색해 모델의 답변 근거로 넣는 방식입니다. 정책 개정 때에는 원문 저장소가 바뀌어도 검색 색인과 문서 조각, 대화에 보관된 이전 근거, 답변 캐시가 그대로일 수 있습니다. 최신성은 파일의 저장 성공만으로 확인할 수 없습니다. 최소한 정책 효력의 기준 시각이 무엇인지, 어떤 원본으로 답했다는 증거를 남길 것인지 먼저 합의합니다.
정책에 적용 대상이 ‘주문 접수일’, ‘물류센터 출발일’, ‘상담 시점’ 중 무엇인지 업무 책임자가 정합니다. 지역마다 날짜가 바뀌는 시각이 다를 수 있으므로 시간대와 경계의 포함 여부도 고정합니다. 질문에 시점이나 지역이 없고 답이 달라지는 경우에는 새 자료를 무조건 적용하지 않고 질문을 보완합니다. 이 글의 시간과 정책 내용은 운영 설계를 위한 가상 예입니다.
문서 ID와 버전, 효력 범위를 함께 저장한다
문서 ID는 정책 한 종류를 지속적으로 가리킵니다. 버전은 승인된 내용의 한 판을 식별합니다. 검색에 쓰는 조각에는 원본 문서 ID, 버전, 조각 위치, 승인 상태, 효력 시작·종료, 적용 지역·업무를 부여합니다. 같은 파일을 이름만 바꿔 다시 업로드했을 때 내용의 지문이 같음을 표시할 수 있습니다. 다만 같은 텍스트라도 사업부가 별도 효력 기간으로 승인했을 수 있으므로 내용 지문만으로 정책이나 문서를 합치면 안 됩니다.
‘누가 승인할 수 있는 원문인가’도 기록합니다. 공식 담당자가 관리하는 한 문서에서 공유한 PDF, 내부 위키의 복사본, 상담원이 만든 요약을 모두 같은 권위로 처리하면 검색 순위에 따라 서로 다른 답이 나옵니다. 복사본에는 원본 버전과 파생 관계를 붙이고 승인된 원본의 범위와 시간을 기준으로 답변 근거를 결정합니다. W3C PROV-DM은 자료, 활동과 책임 주체를 관계로 표현하며 한 자료가 다른 자료에서 파생된 관계를 다룹니다. 이를 참고하되 아래 데이터 항목은 업무 정책 관리에 맞춘 제안입니다. W3C의 PROV 데이터 모델[1]
권한은 별도 조건입니다. 정책이 현재 유효해도 해당 사용자가 못 보는 문서일 수 있고, 반대로 볼 권한이 있는 폐기 정책이 현재 정책 질의에 사용돼도 안 됩니다. 문서 접근권한을 색인과 조회 단계에서 검토하는 실제 기능의 예로 Microsoft Azure AI Search 문서는 데이터 소스·신원 모델별 처리 방식과 프리뷰 조건을 나눠 설명합니다. 여기서는 권한 설정이 완료됐다고 간주하고 업무 시점과 검색에 연결된 버전을 검증하는 데 집중합니다. Microsoft의 문서 단위 접근 통제[2]
문서 수명주기와 완료 증거
팀마다 상태 이름이 달라도, 어떤 기록이 새 답변에 영향을 주는지 아래와 같이 판단할 수 있습니다. 큐 성공과 화면에서 관측된 결과를 같은 열로 합치지 않습니다.
| 문서 상태 | 검색과 답변 처리 | 상황을 확정할 증거 |
|---|---|---|
| 초안·검토 중 | 운영 답변 후보에서 제외, 필요한 경우 검토 공간에서만 사용 | 소유자, 검토 공간, 승인 여부 |
| 승인·효력 대기 | 관리 영역에서 색인하고 적용 전 질의에는 사용 제한 | 효력 시각, 시간대, 적용 대상, 대표 경계 질의 |
| 효력 중 | 질의의 업무 시각과 권한에 맞는 버전만 근거로 사용 | 검색 요청과 인용에 표시한 문서 ID·버전 |
| 대체됨·효력 종료 | 현재 질의에서 제외, 승인된 과거 조회에는 적용 가능 | 종료 사유, 후속 버전, 현재와 과거 대조 질의 |
| 폐기 예정 또는 폐기 | 폐기 상태를 먼저 적용하고 필요한 파생 조각과 캐시 철회 | 처리 이벤트, 남은 검색 경로 점검, 승인된 보관 범위 |
| 충돌 검토 및 복구 중 | 영향을 받은 업무에서 근거 제공을 보류하거나 승인된 문서로 안내 | 충돌한 버전, 책임자 결정, 복구 범위에 대한 회귀 결과 |
갱신 기록에는 전달 시간이 필요합니다. ‘원본 승인됨’, ‘처리 대기’, ‘조각 생성’, ‘운영 별칭이 새 색인에 연결됨’, ‘캐시 조건이 바뀜’, ‘대표 질의가 통과함’의 시각을 구분합니다. 지연을 조사할 때 색인 자체가 늦는 경우와 새 색인을 썼지만 캐시에서 예전 답변을 보여준 경우가 다르기 때문입니다. 기준 시각과 관측 시각이 섞이지 않게 이벤트의 원본 시간대와 서버 수신 시간도 구분할 수 있습니다.
캠페인에 필요한 데이터부터 연결 — 캠페인에서 역산한 이벤트와 속성을 정의하고 식별자와 전송 시점, 측정 도구의 역할을 맞춥니다.
변경 이벤트가 늦거나 중복돼도 폐기를 되돌리지 않는다
색인 갱신은 같은 이벤트를 다시 처리해도 현재 뷰가 달라지지 않도록 설계합니다. 원문이 저장된 순서와 메시지가 소비되는 순서가 뒤집힐 수 있기 때문에, 처리기는 도착 순서만 믿지 않고 원문 관리 시스템의 승인 버전과 변경 번호를 확인합니다. 오래된 갱신이 폐기 이벤트 뒤에 도착해 제거된 조각을 다시 살리지 않도록 현재 상태와 버전을 대조합니다. 즉시 삭제할 수 없는 사본이 있더라도 검색 적격 조건에는 먼저 폐기 상태를 적용합니다.
일부 구현은 한 원본을 다수 검색 문서로 나눕니다. 원문이 사라졌을 때 공급자가 삭제 이벤트를 제공하는지, 어떤 보관 기간과 색인 구성이 필요한지, 수집기가 중단됐다가 돌아왔을 때 오래된 조각을 어떻게 발견하는지 확인합니다. Azure AI Search의 공식 Azure Storage 색인 문서는 기본 소프트 삭제 정책이 적용되려면 색인 작업이 삭제 표시의 보관 기간 안에 해당 항목을 처리해야 한다고 설명합니다. 또 원본 하나가 여러 색인 문서가 되는 방식에는 해당 삭제 탐지 정책들이 적용되지 않는다고 구분합니다. 실제 환경에서 쓰는 자료원과 색인 구성에 맞춰 자동 삭제와 직접 처리 경로를 확인합니다. Microsoft의 Azure Storage 변경·삭제 감지 문서[3]
작업이 실패한 항목은 재처리 큐에 두고, 큐와 별개로 승인 원문과 색인 목록을 비교합니다. 다시 처리하기 전에는 어느 버전의 조각이 남았는지, 새 버전은 완전히 등록됐는지 확인합니다. 백업을 복원하거나 새 환경에서 전체 색인을 만들 때 현재의 폐기 목록과 효력 정보를 먼저 반영합니다. 원본 목록에서 빠진 조각과 그 원본이 무엇이었는지 알 수 없으면 폐기가 끝났는지도 확인하기 어렵습니다.
충돌과 롤백에는 정책 담당자의 판단이 필요하다
같은 사업부와 적용 기간에 공식 문서 두 개가 모두 효력 중이고 값이 다르면, 답변은 출처를 혼합해 규정인 것처럼 제시하기보다 업무 담당자에게 확인할 경로를 보여줘야 합니다. 지역·상품 범위가 겹치는지, 일반 정책 위에 승인된 예외가 있는지 확인하고 우선순위를 정책 소유자가 결정합니다. 문서 이름의 날짜나 검색 점수로 우선순위를 임의로 정하면 권위와 적용 범위를 바꿀 수 있습니다.
기술 장애 때문에 색인을 이전 스냅샷으로 돌려도 새로 발효된 회사 정책이 자동으로 이전 내용으로 돌아가는 것은 아닙니다. 현재 정책 정보와 폐기 목록을 이전 스냅샷에 적용할 수 있는지 확인합니다. 확인할 수 없다면 영향받은 업무는 운영자가 승인 문서로 직접 안내할 수도 있습니다. 정책 담당자가 개정 자체를 철회한 경우에는 대체 문서와 효력 기간에 대한 별도 승인 이력을 새로 남깁니다. NIST AI 600-1의 생성형 AI 관리 프로파일[4]
가상 배송 정책의 변경을 대표 질문으로 닫는다
가상의 정책 P-42는 월요일 오전 9시부터 신규 주문의 기본 출고 안내를 ‘영업일 기준 2일’에서 ‘영업일 기준 3일’로 수정했습니다. 금요일 사전 색인은 끝났지만 이전 상담에 2일이라는 응답이 남아 있습니다. 아래 시험은 원본 버전과 근거 조각을 대조하고 실제 답변과 인용도 각각 확인하도록 구성합니다.
| 질의 또는 실패 시험 | 기대하는 정책 결과 | 운영에서 남길 증거 |
|---|---|---|
| 일요일에 새 주문을 문의 | 기존 효력에 따라 2일 안내 | 기존 버전과 조회 시각, 사전 색인의 답변 제외 |
| 월요일 09:00에 접수한 주문 문의 | 신규 기준에 따라 3일 안내 | 새 버전과 주문 접수 시각, 적용 경계 |
| 월요일에 지난주 주문을 문의 | 해당 주문 접수일 기준 2일 안내 | 이전 버전을 과거 질의 범위에서 인용 |
| 주문 접수일을 알 수 없음 | 적용 정책이 달라질 때 시점 확인 요청 | 추정값 없이 근거를 확인한 기록 |
| 이전에 답한 대화에서 월요일 새 주문 재질의 | 현재 업무 시점으로 근거 재조회 | 대화와 캐시의 이전 근거가 새 답변에 섞이지 않는지 |
| 폐기된 사본이 새 색인에 다시 들어옴 | 폐기 상태에 따라 현재 답변과 인용에서 제외 | 재생한 변경 ID, 검색과 원문 링크의 추적 |
대표 질문은 배포 전후에 저장된 답과 인용을 비교합니다. 출고 문구만 검사하면 이전 문서가 여전히 인용되는 문제를 놓칠 수 있습니다. 반대로 인용에 최신 문서를 표시해도 본문이 낮은 우선순위의 메모에서 ‘2일’을 가져왔을 수 있습니다. 자동 검사에서는 근거 조각의 버전과 답변에 포함된 정책 값을 확인하고 복수 조건이 얽힌 사례는 담당자가 승인 문서와 직접 대조합니다. 운영 데이터를 이용한 지속 평가와 비교 방법은 Google Cloud의 생성형 AI 운영 가이드[5]에서도 다룹니다.
캐시에는 질문 텍스트뿐 아니라 참조한 문서 버전, 가능한 정책 적용 구간과 조회 권한에 맞는 식별 기준이 필요합니다. 버전을 연결해 충돌 시 그 범위의 캐시를 비울 수 있습니다. 일정 시간이 지나면 캐시를 비우는 정책을 쓰더라도, 폐기되거나 중대한 오류가 확인된 근거에는 TTL 만료를 기다리지 않고 배제 경로를 둡니다. 이전 대화를 열었을 때는 당시 응답이라는 점을 보여주고, 새 질문에는 현재 근거를 다시 받습니다.
담당자가 서명하기 전에 확인할 항목
- 승인된 원문과 소유자, 내용 버전, 효력 시작·종료, 시간대와 업무 범위가 기록돼 있습니다.
- 검색 조각과 답변 인용에서 원본·버전으로 돌아갈 수 있고, 사본의 중복·충돌을 확인했습니다.
- 효력 경계 전에 만든 캐시와 이전 대화에서 새 질의를 실행했고, 올바른 버전이 선택됐습니다.
- 현재 질의, 과거 질의, 시점 미정, 지역·예외 및 폐기 조각의 재수집 시험을 마쳤습니다.
- 갱신 지연과 누락을 감시할 수 있고 자동 처리 실패와 수동 조사 담당자가 정해져 있습니다.
- 이전 색인을 복원해도 현재 정책 상태가 보존되는지 확인하거나, 수동 안내가 필요한 범위를 기록했습니다.
인덱스가 성공했다는 메시지와 별개로, 문서 소유자가 대표 질의의 기대 답과 실제 결과를 비교해야 변경을 완료할 수도 있습니다. 이를 반복할 수 있도록 요구사항과 시험 추적성을 이용해 변경 승인과 질의를 연결합니다. 최신성 처리에서 어떤 버전이 어떤 응답에 쓰였는지 보는 데는 AI 에이전트 관측 방식의 검색 및 실행 기록 범위를 참고할 수도 있습니다.
