목록으로
업무 생산성 개선을 위한 AI 활용
AI도 틀립니다 — 멀티에이전트로 AI끼리 서로 보완해 정교해진 서류 검토 자동화
👤 하얀펭귄545 📅 2026-06-30 👁 조회 224
하루 30건·3시간 걸리던 계약 서류 검토를, 여러 AI가 분업·교차검증하게 만들어 'AI 30분 + 내 확인 5분'으로 줄인 멀티에이전트 자동화 사례.
① 어떤 상황에서 AI를 활용했나요?

저는 계약 체결 전 '서류 검토'를 담당합니다. 용역·유지보수·임대 등의 계약에서, 하루 평균 약 30건의 서류 묶음을 한 건씩 사람이 눈으로 확인해야 했습니다. 한 건마다 확인할 항목이 많습니다 — 통장(계좌번호)이 맞는지, 사업자등록증의 대표자·주소가 일치하는지, 4대보험 완납증명서가 유효기간 안에 있는지, 수의계약체결제한여부 확인서에 직인이 날인되고 각 항목이 '아니요'로 체크됐는지, 견적서·원가계산서 금액이 시스템 값과 맞는지, 계약 종료일이 납품 기간 기준으로 맞는지 등입니다. 이걸 하루 30건씩 일일이 대조하면 약 3시간이 들었고, 정확성이 생명이라 빨리 넘길 수도 없었습니다.

② 어떤 AI를 어떻게 활용했나요? (서류 검토 1건의 실제 흐름)

대부분의 AI 활용은 "챗봇에 한 번 물어본다"에서 끝납니다. 저는 AI를 한 명의 비서가 아니라 역할이 나뉜 '검토팀'으로 구성했습니다(멀티에이전트). 업체 한 곳의 서류가 검토되는 과정은 이렇습니다:

(1) 수집 담당 AI가 시스템 값과 업체가 올린 첨부 서류(통장사본·사업자등록증·4대보험 완납증명서·견적서·원가계산서·수의계약체결제한 확인서 등)를 한데 모읍니다.
(2) 판독 담당 AI가 항목을 하나씩 대조합니다 — 계좌번호 일치, 사업자등록증 대표자·주소 일치, 4대보험 완납증명서 유효기간, 수의계약 확인서의 직인 날인과 '아니요' 체크, 전자견적 금액과 첨부 견적서 금액 일치, 원가계산서 항목 일치, 계약 종료일이 납품 기간 기준인지.
(3) '서류 부족' 또는 '불일치'로 판단되면, 검증 담당 AI가 그 판정을 일부러 반박하며 다시 검토해 '정말 재요청 감이 맞는지' 확인한 뒤, 사람에게 "이 건은 금액(또는 유효기간·직인)이 어긋나 확인 필요"처럼 보고를 남깁니다.

실제로 전자견적 화면 금액과 첨부 견적서 금액이 미세하게 다른 건을 AI가 스스로 잡아내 '첨부 서류 원본을 기준으로 처리하고 차이를 보고'한 적이 있습니다 — 사람이 빠르게 넘기면 놓치기 쉬운 부분입니다. 금액·날짜·유효기간처럼 틀리면 안 되는 값은 AI의 추정이 아니라 별도의 '결정형 코드'가 계산하게 해 '그럴듯하지만 틀린 답'을 원천 차단했습니다. 도구는 Claude(Claude Code)로 에이전트들을 오케스트레이션했고, 일부 작업은 Codex를 함께 사용했습니다.

③ 활용 결과 어떤 변화가 있었나요? (하루 3시간 → 실질 5분)

가장 큰 변화는 '제 시간의 성격'이 바뀐 것입니다. 예전엔 하루 약 30건을 일일이 대조하느라 약 3시간이 걸렸습니다. 지금은 AI 검토팀이 그 30건을 약 30분 만에 처리하고, 저는 그 결과 보고서만 훑어보며 최종 판단과 예외 처리에 하루 약 5분 정도만 씁니다. 마치 실무자가 직접 모든 서류를 들춰보는 대신, 정리된 결과를 받아 검토·결재만 하는 '관리자'의 위치로 올라선 셈입니다. 덕분에 남는 시간을 더 생산적인 일에 쓸 수 있게 됐고, 속도는 빨라졌는데도 검증 담당 AI 덕분에 정확도(오탐 감소)는 오히려 좋아졌습니다.

④ 나만의 방식 또는 개선 포인트는 무엇인가요? (반복 교정으로 안정화시킨 과정)

제 진짜 개선 포인트는 '한 번에 완성한 자동화'가 아니라, 제 실무 기준을 AI에게 반복해서 가르쳐 '제 방식대로 일하는 검토팀'으로 안정화시킨 과정에 있습니다. 처음 만든 버전은 결과가 좋지 않았습니다. 실제 업무에서 어긋나는 부분을 발견할 때마다 구체적인 기준을 하나씩 요구했고, AI가 그것을 코드와 규칙으로 반영하면서 점점 정교해졌습니다.

예를 들어:
- 초기엔 계약 종료일을 실제 납품 기준이 아닌 다른 날짜로 잘못 채웠습니다 → "종료일은 납품 기간을 기준으로 계산하라"고 요구하니, 그 규칙을 반영해 더는 틀리지 않게 됐습니다.
- 임대 계약은 기간을 잡는 기준이 다른데 일반 계약처럼 처리했습니다 → "임대 기간은 견적서 기준으로 잡아라"를 반영했습니다.
- 금액이 서류마다 다를 때 AI가 임의로 해석하려 했습니다 → "해석하지 말고, 차이가 있으면 사람에게 재요청·보고하라"로 못 박았습니다.
- 제 담당이 아닌 유형(물품 구매 등)까지 건드렸습니다 → "그 유형은 아예 건너뛰어라"로 처리 범위를 고정했습니다.

이런 요구가 쌓일 때마다 '판정 규칙 문서' 한 곳에 모아 모든 AI가 같은 기준을 보게 했고, 한 AI의 판정은 다른 AI가 적대적으로 다시 검증하게 했습니다(생성–검증 구조). 그 결과 지금은 처음과 비교할 수 없을 만큼 안정화되어, 그 결과를 '믿고 5분 만에 승인'할 수 있게 됐습니다. 핵심은 'AI가 처음부터 잘했다'가 아니라, 틀린 부분을 구체적으로 짚어 반복 교정함으로써 '믿고 맡길 수준'까지 길들였다는 점입니다.

⑤ 다른 사람도 따라 할 수 있나요?

네. 특정 도구보다 '구조를 짜고 길들이는 방식'이 핵심입니다. 반복 검토 업무가 있다면 ① 사람이 쓰던 판정 기준을 글로 적어 하나의 기준점으로 만들고, ② AI에게 한 번에 다 시키지 말고 '모으기 → 나눠 읽기 → 서로 검증'으로 역할을 쪼개고, ③ 숫자·날짜·유효기간 계산은 AI가 아니라 코드에 맡기고, ④ 무엇보다 한 번에 완성하려 하지 말고, 어긋나는 부분을 발견할 때마다 구체적으로 요구해 기준을 쌓아가면 됩니다. 저는 Claude(Claude Code)로 구현했지만, 같은 구조는 접수 심사·정산 대조·제출물 점검 같은 다른 반복 문서 업무에도 그대로 응용할 수 있습니다.
← 목록