청구서에서 업무의 끝까지 연결한다
예를 들어 지원 업무의 목표가 ‘고객의 배송 문의를 해결한다’라면 모델 응답이 생성된 순간에 작업이 끝나지 않습니다. 주문과 배송 상태가 일치했는지, 확인되지 않은 날짜를 약속하지 않았는지, 고객이 답을 받았는지, 정해진 시간 안에 끝났는지 확인해야 합니다. 모델 호출은 그 업무의 일부이며 한 건의 고객 요청에 여러 번 발생할 수 있습니다.
업무 책임자와 재무 담당자는 계산 전에 적격·시도·성공·이관을 정의합니다. 적격은 관측 기간에 정해진 정책으로 접수할 수 있는 업무입니다. 시도는 그 중 자동 흐름이 실행된 고유 업무 수입니다. 성공은 선택한 완료 조건을 통과한 업무입니다. 이관은 사람이 인수한 수이며 그 뒤 성공하거나 실패할 수도 있습니다. 따라서 시도 수와 이관 수를 더하면 적격 수를 넘어설 수 있습니다. 같은 업무의 경로 표시와 최종 결과 상태를 별도로 등록합니다. Google PAIR의 사용자 요구와 성공 정의[1]
업무 성과를 보는 목적일 때는 정해진 기한 안에 사람이 끝낸 건도 성공으로 포함할 수도 있습니다. 자동화 자체를 평가할 때는 사람의 승인·검토·직접 처리 없는 성공 수를 따로 셉니다. 이 두 값은 이름과 분모가 명시돼야 합니다. 자동화 비중과 업무 완료 비용을 동시에 보려면 같은 기간과 동일 팀의 인계 기록을 사용합니다. 모델 응답 자체의 성공 여부와 실제 상태가 달라질 수 있다는 점은 Anthropic의 에이전트 평가 글[2]에서도 실행 기록과 결과를 구분해 설명합니다.
같은 분모의 조건을 적는 표
아래 기준을 비교 전에 적으면 구성마다 성공 난도가 바뀌는 일을 줄일 수 있습니다. 제외된 범위는 별도로 집계합니다.
| 항목 | 계산에 사용할 예시 정의 | 함께 볼 수치 |
|---|---|---|
| 적격 업무 | 같은 배송 문의 분류, 같은 서비스 시간에 접수한 고유 문의 | 상담 유형·지역·예외 비중, 제외 건수 |
| 자동 처리 시도 | 자동 경로가 한 번 이상 시작된 고유 문의 | 시도 업무 수와 모델 호출 수를 각각 집계 |
| 자동 완료 | 사람 인수 없이 정확한 근거로 기한 내 완료 | 적격 대비 비중, 검토가 빠진 표본과 검사 방법 |
| 이관 | 상담원이 소유권을 받아 이어간 문의 | 적격 대비 이관 비중, 이관 뒤 완료 수와 비용 |
| 기한 내 성공 | 정확성·권한·기한에 합격한 고유 문의 | 자동과 수동을 합치고 재개 사건의 중복을 제거 |
| 기한 초과·실패·판정 불가 | 정의한 기한과 판정으로 각각 집계 | 업무별 누적 원가, 재작업·누락·불명 건 |
업무가 종료된 뒤 일정 기간 안에 고객이 같은 문제를 다시 제기하면 원래 건의 상태를 재개하도록 정할 수도 있습니다. 그 기준을 운영 데이터에 적용할 때는 보고서 마감일에 아직 판정하지 못한 건을 고정된 기한 조건과 구별합니다. 새 시스템에서 처리했지만 기존 시스템에서 성공을 기록한 경우에는 양쪽 기록을 업무 ID로 연결해 한 건으로 셉니다. 실패나 불명에는 시점을 붙여 다음 보고에서 달라진 이유를 확인할 수 있게 합니다.
비용은 호출과 작업, 월 운영 단위에 나누어 기록한다
모델 사용료에는 최초 요청뿐 아니라 대체 모델 승격, 재시도, 실패 후 생성한 새 응답을 포함합니다. 검색·외부 도구·저장 비용은 같은 업무 식별자로 묶습니다. 로그 장기 보관, 평가 데이터 관리, 보안 점검, 장애 대응 대기 비용처럼 개별 호출에 배정하기 어려운 항목은 기간 비용으로 적고 배분 근거를 남깁니다. FinOps Foundation은 기술 비용을 성과 단위에 연결하고 수익을 직접 귀속하기 어려울 때 처리량, 위험 감소, 서비스 수준 같은 대체 지표를 쓸 수 있다고 설명합니다. FinOps Foundation의 Unit Economics[3]
사람의 승인, 상담원 인계, 오류 정정, 운영조사는 활동 시간을 측정하고 같은 인건비 기준을 적용합니다. 단건에 들어간 작업, 추가 구매나 수수료, 공통 작업을 구별해 이중 배분을 막습니다. 상담원 작업에 한 번 반영한 사후 검토를 운영 시간에 다시 넣지 않습니다. 동작을 재현하는 시험 비용 중 구성 비교마다 주기적으로 필요한 금액은 운영으로 잡고, 전환기에 발생한 일회성 구축비는 별도 행으로 표시합니다. 시제품 평가에는 일회성 비용을 분리한 운영 비교와 전환비까지 포함한 총비용을 같이 남길 수 있습니다. 클라우드 이전의 총비용을 다루는 IXC 글
전체 비용에서 성공 건의 비용만 필터링하면 실패를 많이 내는 구성이 싸 보입니다. 업무군에 배정한 비용에는 실패와 이관, 재시도를 포함하고 분모에만 성공 건을 사용합니다. 공통 고정비를 적격 업무 수로 배분할지 실제 저장·계산 자원량으로 배분할지는 운영 모델을 보고 정합니다. 배분 키를 바꾸면 이전 기간 값과 달라지는 이유를 기록합니다. 청구서 조정과 공통비 배분의 기본은 클라우드 단위경제를 설계하는 IXC 글에서 더 자세히 다룹니다.
비용의 원인에서 지속 관리까지 — 지출을 업무와 자원 단위로 나누고 영향도를 확인한 조치와 예산 가드레일을 운영에 연결합니다.
가상 구성에서 계산해 보기
가상의 월간 비교입니다. 두 구성의 업무는 각각 1,000건으로, 문의 유형과 난도 분포가 비슷하다고 가정합니다. 기한 안에 정확한 근거로 종료된 업무는 이관 후 처리도 성공으로 셉니다. 두 구성 모두 이 기준을 통과했지만 일부는 기한 안에 완료되지 않았습니다. 수치는 금액 계산을 보여주기 위한 가정이며 실제 모델 가격이나 공급자 견적이 아닙니다.
| 월 비용·업무 항목 | 구성 A | 구성 B |
|---|---|---|
| 적격 문의 | 1,000건 | 1,000건 |
| 자동 경로 시도 | 950건 | 950건 |
| 자동 완료 | 600건 | 820건 |
| 상담원 이관 또는 직접 처리 | 400건 | 180건 |
| 전체 기한 내 성공 | 900건 | 960건 |
| 최초 모델 처리비 | 18,000원 | 48,000원 |
| 반복 호출 및 대체 호출비 | 16,000원 | 9,000원 |
| 검색·저장·관측 변동비 | 34,000원 | 41,000원 |
| 평가·공통 운영 고정비 배분 | 80,000원 | 80,000원 |
| 사람 처리·검토 시간 가치 | 420,000원 | 200,000원 |
| 전체 운영비 | 568,000원 | 378,000원 |
| 성공 업무당 운영비 | 약 631원 | 약 394원 |
분모의 구성을 검산하면 A의 900건은 자동 완료 600건과 사람 경로 완료 300건이며 B의 960건은 자동 820건과 사람 경로 완료 140건입니다. 사람 경로는 자동 시작 후의 이관과 직접 접수 50건을 포함합니다. 따라서 자동 시도 950건과 사람 경로 건수를 합산해 고객 문의 수로 해석할 수 없습니다. 두 구성에서 자동 완료를 제외한 건은 모두 사람 경로로 갔다고 가정했습니다.
사람의 시간은 시간당 30,000원의 내부 배부 기준을 가정했습니다. A는 14시간, B는 6시간 40분입니다. 합산은 A가 18,000 + 16,000 + 34,000 + 80,000 + 420,000 = 568,000원, B가 48,000 + 9,000 + 41,000 + 80,000 + 200,000 = 378,000원입니다. 이를 900건과 960건으로 나누면 각각 631.11원과 393.75원입니다. 자동 시도당 최초 호출 비용과 기한 내 성공 업무당 비용은 서로 다른 질문에 답합니다.
어떤 변수가 결론을 바꾸는가
같은 가정에서 B의 성공 960건과 사람 비용 외의 비용 178,000원이 유지된다고 두면, B의 성공당 비용이 A와 같아질 때의 사람 비용은 약 427,867원입니다. 계산은 A의 성공당 비용인 568,000원 ÷ 900건에 960건을 곱하고 178,000원을 빼는 방식입니다. 시간으로는 시간당 30,000원일 때 약 14.26시간입니다. 담당자는 B의 검토 시간을 제한했을 때도 성공과 품질이 유지되는지 시험합니다. 검토 시간을 줄여 성공 건도 줄었다면 위 가정이 깨지므로 분모를 다시 계산해야 합니다.
두 구성을 비교할 때 유입량이 줄어도 고정비 배분이 그대로인지 점검합니다. 예를 들어 운영 담당자의 월간 검토 일정이 그대로라면 건수가 줄어든 만큼 고정 비용의 단위 부담이 커집니다. 주문 문의가 몰리는 달에 비용이 늘면 처리량 증가와 건당 비용 증가를 구분합니다. 공급자의 청구 방식과 기간이 달라지면 같은 기간 기준으로 배부하고 사용량의 차이와 계약 단가 차이를 기록합니다.
더 싼 모델로도 충분한 구간
별도의 가상 시험에서 정책이 단순한 문의를 정확히 분류하는 200건을 비교한다고 합시다. 두 구성 모두 196건이 기한 안에 완료됐고, 잘못된 분류 유형과 사람 확인 시간 역시 허용 조건을 통과했다고 가정합니다. 공통 운영비 60,000원에 모델 관련 비용을 각각 12,000원과 22,000원으로 가정하면 성공당 비용은 약 367원과 418원입니다. 이 구간에서는 모델비가 낮은 구성이 비용과 품질 조건에 맞습니다. 다만 장문의 예외 상담이나 VIP 승인 처리까지 섞인 전체 업무를 같은 분류 시험으로 대표할 수 없습니다.
구성별 평균을 같이 확인하되, 결과의 품질과 위험이 유사한지 먼저 확인합니다. 위 가상 두 구성에서 고객에게 권한 밖 정보를 반환했다면 비용과 완료 건수가 좋아도 배포 조건을 충족하지 못합니다. 자료가 빠졌거나 자동 평가와 사람이 엇갈린 건도 별도로 표시합니다. 정확성·권한·기한에 대한 기준을 달리 적용했다면 품질이 같은 서비스로 계산하기 전에 기준과 표본부터 맞춥니다.
시간 절감과 지출 절감을 다르게 설명한다
같은 인원을 지급하는 월급이 그대로인 상황에서 14시간이 6시간 40분으로 줄었다면 확보한 시간은 7시간 20분입니다. 이 시간의 원화 환산은 다른 업무에 투입할 수 있는 여력을 보여줍니다. 계약 시간을 줄였거나 외부 검토 비용이 실제 감소했다는 청구서가 있어야 현금 절감으로 확정할 수도 있습니다. 인력 수요가 연말에만 줄어든다면 월 환산으로 숨기지 않고 해당 시즌과 계약 조건을 보고합니다.
업무 책임자는 아래 항목을 한 번 고정하고 비교표를 가져가면 좋습니다.
- 기간, 적격 업무와 제외 사유, 완료·이관·재개의 정의를 기록합니다.
- 업무 ID를 기준으로 호출과 재시도, 각 인계 종료 상태를 연결합니다.
- 비용 항목마다 직접 청구·배부·시간 환산의 성격과 책임자를 표시합니다.
- 성공당 운영비와 함께 성공률, 판정 불가, 심각 실패, 사람 처리 시간을 확인합니다.
- 유입량·재작업·시간당 비용을 바꿔 비교하고 결론이 달라지는 조건을 적습니다.
