시작은 「다 읽을 수 없다」였습니다

제가 다루는 문서는 공모전 공고문입니다. 한 번에 450건을 받아 놓고 보니, 한 건에 요강·안내문·첨부 서식까지 붙어 사람이 순서대로 읽는 방식으로는 끝나지 않는다는 것이 분명했습니다. 그래서 AI에게 정독을 맡겼습니다.

먼저 밝혀 둘 것이 있습니다. 같은 절차가 응모 서류도 만듭니다. 그래서 AI 사용을 금지한 공고를 걸러내는 일을 절차의 맨 앞에 두었습니다. 실제로 한 세션에서 16건을 정독해 3건을 「AI 금지」로 닫았고, 이 글을 쓰는 날에도 한 건을 열자마자 닫았습니다. 「AI 생성물은 응모할 수 없습니다」라는 한 문장 때문입니다. AI로 뚫는 절차가 아니라, AI를 쓰면 안 되는 자리를 AI가 먼저 찾아내는 절차입니다.

AI가 하는 일과 기계가 하는 일을 갈랐습니다

AI에게는 읽고 뽑는 일만 맡깁니다. 무엇을 요구하는가, 무엇이 금지되는가, 무엇이 필수인가. 반면 숫자로 확인되는 것은 코드가 직접 잽니다. 문서의 쪽수는 워드프로세서에게 물어서 세고, 영상의 길이는 파일에서 재고, 마감까지 남은 날짜는 원문 날짜에서 다시 계산합니다. AI가 "여덟 쪽 정도"라고 말해도 그 값은 쓰이지 않습니다.

핵심은 「확인 못 함」이라는 칸입니다

가장 크게 바뀐 것은 이 한 칸이었습니다. 처음에는 통과/불통과 두 값만 두었는데, 그러면 확인해서 통과한 것과 아예 확인하지 못한 것이 똑같은 초록으로 보입니다. 실제로 분량 제한을 찾지 못한 채 검사가 통과로 기록된 적이 있었습니다. 규정이 없어서가 아니라 표현이 달라서 못 찾은 것이었는데, 화면에는 아무 문제가 없었습니다.

그래서 값을 셋으로 늘렸습니다. 통과 · 불통과 · 확인 못 함. 그리고 「확인 못 함」이 하나라도 있으면 다음 단계로 넘어가지 못하게 막았습니다. 이 칸 하나가 이후 여러 건에서 조용한 오류를 멈춰 세웠습니다.

실제로 잡힌 것들

규정이 첨부파일 안에만 있던 경우. 목록에도 상세 페이지에도 없던 금지 조항이 첨부 PDF 본문에 있었습니다. 그래서 「첨부파일 없음」이라는 표기를 믿지 않고 반드시 열어 보게 했습니다. 실제로 그 표기가 거짓이었던 건이 세 건 더 나왔습니다.

요약 칸이 본문과 어긋난 경우. 자격이 「제한 없음」으로 정리돼 있는데 본문에는 조건이 붙어 있던 건, 배점이 다르게 적혀 있던 건이 한 세션에만 일곱 건이었습니다. 그래서 판단의 근거는 정리된 칸이 아니라 원문 문장에서만 읽도록 했습니다.

계측기 자체가 틀린 경우. 소리의 세기를 세는 도구가 실제로는 서너 번인 것을 서른 번 넘게 셌습니다. 이때 위험한 것은 오류가 아니라 방향이었습니다. 틀린 경고는 멀쩡한 것을 고치게 만듭니다. 그래서 계측 도구가 매번 자기 눈금을 먼저 재고, 눈금이 안 맞으면 측정을 거부하도록 바꿨습니다.

지금

8개월 동안 확인된 실패 90건을 각각 한 편의 문서로 남겼습니다. 대부분은 AI가 틀렸다는 기록이 아니라 AI를 믿은 방식이 틀렸다는 기록입니다. 접수까지 마친 것은 21건입니다.

절차는 전부 스크립트로 남아 있습니다. 대상이 공고문이라 그렇게 만들었을 뿐, 계약서든 입찰 규정이든 사내 지침이든 읽어야 할 분량이 사람의 시간을 넘어서는 문서라면 그대로 옮겨집니다. 옮길 때 가져가야 하는 것은 도구가 아니라 원칙 하나입니다.

AI가 읽은 것은 근거가 되고, AI가 잰 것은 근거가 되지 않습니다.