① 어떤 상황에서 AI를 활용했나요?

AI에게 "잘 썼는지 봐 줘"라고 물으면 대체로 칭찬이 돌아옵니다. 한 기획서는 점수 기준 없이 다른 AI 도구로 받은 평가에서 84~88점이었는데, 점수 기준을 정해 준 심사에서는 바로 다음 버전이 78점이었습니다. 더 엄격하게 잰 점수라 앞의 점수와 견줄 수 없었고, 고친 것이 나아졌는지조차 알 수 없었습니다.

저는 직장에 다니며 야간 대학원에서 정보보호를 공부합니다. 평일에 쓸 수 있는 시간은 밤 1~2시간이고, 그 안에서 기획서·제안서와 학술 논문을 혼자 씁니다. 혼자 쓰는 서류의 가장 큰 문제는 제출하기 전에 아무도 읽어 주지 않는다는 것입니다. 심사위원이 어디서 점수를 깎을지, 내가 인용한 법 조문과 통계가 맞는지 확인해 줄 사람이 없습니다. 그래서 칭찬 대신 깎이는 곳을 찾는 절차를 만들었습니다.

② 어떤 AI를 어떻게 활용했나요?

AI 코딩 도구 Claude Code로 작업 폴더 하나에서 서류를 관리하고, 심사위원은 서브에이전트(Claude Code가 한 작업 안에서 따로 띄우는 보조 AI로, 각자 별도의 대화 맥락에서 일합니다)로 만듭니다. 제출 전에 아래 순서를 거칩니다.

1) 사실 확인 먼저: 쓸 문장의 근거를 공식 원문(공고문, 국가법령정보센터, 보도자료)에서 찾아 '쓸 수 있는 문장'과 '쓰면 안 되는 문장'으로 나눕니다.
2) 심사위원 5~6명: 대회에 맞춰 법률 전문가, 현장 실무자, 기술 전문가, 정책 담당자, 학술지 편집위원 같은 역할을 정하고, 각자 "반드시 확인할 것"을 4~5줄 줍니다.
3) 같은 안내문: 배점표(공고 원문, 없으면 모의 배점), 점수 기준, 서로 보지 않기, 원문 확인, '원문 → 대체 문구' 형식을 넣습니다. 핵심 문장은 ⑤에 옮겼습니다.
4) 따로 채점: 서로의 결과는 보지 않게 합니다. 기계 채점은 한 번에 약 10~15분입니다.
5) 지적도 다시 확인: 사실 지적은 원문과 대조해 맞으면 고치고, 틀리면 이유를 적고 반영하지 않으며, 원문을 못 찾으면 '미확인'으로 두고 단정하지 않습니다.
6) 재채점: 같은 역할·같은 안내문으로 새로 채점하며 "이 버전에서 새로 생긴 문제"를 따로 묻습니다.
7) 마무리 검수: 점수를 매기지 않는 검수자 1~3명이 바뀐 부분과 수치·인용·형식만 다시 맞춰 봅니다.

③ 활용 결과 어떤 변화가 있었나요?

9월 28일 첫 채점부터 10월 24일까지 27일 동안 서류 17건(아이디어 기획서, 제안서, 논문 원고 등)에 이 절차를 썼고, 서류마다 4번째에서 18번째 버전까지 고쳤습니다. 대부분 심사 중이거나 준비 중이라 대회명과 내용은 밝히지 않습니다.

가장 큰 변화는 제출 전에 막은 오류입니다. 한 원고에서는 근거 법령을 잘못 짚은 문장을 6명 중 2명이 잡아, 국가법령정보센터 원문으로 확인하고 다시 썼습니다. 다른 서류에서는 제출 자료 표에 '데모 영상' 칸만 체크하고 영상은 아직 없던 것을 2명이 "그대로 내면 허위 기재"라고 짚었고, 영상을 실제로 만든 뒤에야 체크를 남겼습니다.

- 채점 67회, 점수를 매기지 않는 검수 44차례.
- 원문 대조 기록에 남은 사실 지적 981건(회차마다 따로 셈) 중 667건은 고쳤고, 52건은 AI 지적이 틀렸거나 일부 틀려 반영하지 않거나(47건) 반영했다가 되돌렸습니다(5건). 나머지는 원문 미확인 보류 81건, 애매 177건, 제 쪽 기각이 틀려 되돌린 4건입니다. 기록에 남은 것만 센 값이라 비율은 참고용입니다.
- AI가 틀린 예: 한 위원이 원고의 날짜를 기사에 나온 날짜로 고치라고 해서 기사로 확인하고 고쳤는데, 며칠 뒤 공식 등록 기록을 열어 보니 원래 날짜가 맞았습니다(기사의 날짜는 발표일로 보였습니다). 표 한 칸만 보고 한 지적을 받아들였다가 같은 자료의 설명 문장을 보고 되돌린 일도 있습니다. 둘 다 옮겨 적은 자료나 일부만 보고 판단한 것이 원인이었습니다.
- 제 쪽 확인이 틀린 예: 심사위원이 짚은 회사 발언을 "회사 누리집 공지에 없다"며 기각했는데, 신문 기사가 그 회사 공지를 인용하고 있었습니다. 기각을 취소했고, 그 뒤로 "원문에 없다"는 판정은 공지·기사·법령을 모두 본 뒤에만 합니다.

한계도 있습니다. 문구만 고치면 점수가 멈춥니다. 같은 점수 기준으로 다시 채점한 서류 16건(1건은 점수 기준 기록이 없어 제외) 중 8건이 한 번 이상 77~81점대에서 멈췄고(연속 채점 차이 1점 이내), 고치려고 새로 쓴 문장이 다음 채점에서 새 감점이 되곤 했습니다(한 서류는 한 번에 4곳). 다시 채점해 2점 넘게 오른 15번(+2.2~5.2점)은 모두 빠진 절이나 분석을 넣거나, 구조를 다시 짜거나, 근거 오류를 원문으로 바로잡은 버전이었지만, 그렇게 고치고도 멈춘 때가 있었습니다. 이 정체에는 점수를 부풀리지 말라고 한 기준 탓도 섞였을 수 있습니다. 또 심사위원이 모두 Claude 계열이고 초안도 Claude와 썼기 때문에 같은 맹점을 공유하거나 비슷한 글을 후하게 볼 수 있습니다. 그래서 점수보다 원문으로 확인되는 사실 지적을 더 믿습니다.

④ 나만의 방식 또는 개선 포인트는 무엇인가요?

AI에게 심사위원 역할을 맡기는 방식 자체는 이미 알려져 있습니다. 제가 더한 것은 아래입니다.

- AI 심사위원도 틀린다고 전제합니다. 반영하지 않은 지적도 이유와 함께 표로 남깁니다.
- 점수는 상을 예측하는 값이 아니라 고칠 곳을 찾는 도구입니다. 점수 기준은 점수가 부풀지 않게 맞추는 자일 뿐이고, 같은 기준의 점수끼리만 비교합니다.
- "새로 생긴 문제"를 따로 묻습니다. 새로 쓴 문장은 그 문장이 기대는 원문까지 함께 확인하고, 문구만 남은 단계에서는 전원 재채점 대신 바뀐 부분만 보는 검수자 1명으로 바꿨습니다.
- 기록이 다음 날을 잇습니다. 결정·근거·남은 일을 인수인계 문서에 남기고, 다음 작업 대화의 AI가 그것부터 읽고 시작합니다.

⑤ 다른 사람도 따라 할 수 있나요?

회사 보고서·지원서·논문처럼 내기 전에 검토받기 어려운 서류에 쓸 수 있습니다.

1) 배점표를 원문 그대로 옮깁니다. 공개되지 않았으면 항목을 정하고 '모의 배점'이라고 적습니다.
2) 역할 5~6명을 정하고, 각자에게 "반드시 확인할 것" 4~5줄과 아래 안내문을 따로 줍니다.
3) 지적은 표로 모아 몇 명이 짚었는지 세고, 사실 주장은 직접 원문을 열어 봅니다.
4) 고친 뒤 같은 안내문으로 다시 채점하고, 점수가 1점 안쪽에서 멈추면 문구 대신 빠진 내용을 찾습니다.

[안내문 핵심]
너는 (대회명)의 심사위원 (역할)이다. 아래 서류만 보고 혼자 채점한다.
배점표: (공고 원문 그대로. 없으면 '모의 배점'이라고 밝힌 항목표)
점수 기준: 90점 이상 압도적 1등, 85~89 대상 후보, 80~84 최우수~우수권, 75~79 우수~입상권. 점수를 부풀리지 말 것.
다른 심사위원의 결과와 이전 심사 기록은 보지 말 것.
법령·통계·인용은 원문을 직접 열어 확인하고, 열지 못하면 '미확인'이라고 적을 것.
고칠 문장은 '원문 → 대체 문구'로 쓰고, 심각도(사실 오류·규정 위반 / 중요 / 사소)를 붙일 것.
(다시 채점할 때) 이 버전에서 새로 생긴 문제를 따로 적을 것.

회사 문서라면 역할을 결재권자, 예산 담당, 법무·보안 담당, 현업 실무자, 반대 부서로 바꿔 쓸 수 있습니다. 다만 사내 AI 사용 지침부터 확인하고, 회사·사람 이름과 금액 같은 수치를 가린 뒤 넣어야 합니다.

저는 서브에이전트로 동시에 돌렸지만, 핵심은 역할마다 새 대화를 열어 안내문을 따로 주는 것입니다. 안내문 전체와 역할 예시는 첨부 PDF에 넣었습니다.

[윤리·책임 — 실제로 지킨 것]

- 지어내지 않기: 확인하지 못한 정보는 '미확인'으로 적습니다. 심사위원 5명이 모두 실무자 인터뷰 결과를 넣으라고 했을 때도 하지 않은 인터뷰는 쓰지 않았고, 견적을 받지 못한 비용·효과는 '가설'로 표시했습니다.
- AI의 판단을 사람처럼 쓰지 않기: AI 심사위원은 그렇게 밝힙니다.
- AI와 제 역할: 초안 쓰기와 고치기, 원문 찾기와 대조 표 정리, 심사위원 실행은 AI와 함께 했고, 제출·동의·서명은 제가 직접 했습니다.
- 개인정보·다른 공모전 보호: 작업 기록에 연락처를 적지 않고, 신청서의 개인정보와 서명은 제가 직접 채웁니다. 첨부는 이름·경로·작성자 속성을 지우고, 진행 중인 서류의 대회명과 아이디어는 쓰지 않았습니다.
- AI 기여 표시: 이 작업 저장소를 만든 9월 27일(첫 채점 전날)부터 작업 기록 689번 중 합치기 등을 뺀 685번에 'AI와 함께 작업' 표시를 남겼습니다.
- 이 글의 숫자는 10월 24일까지의 작업 기록에서 다시 센 값이고(시간은 어림값), 재지 않은 효과(예: 전체 절약 시간)는 쓰지 않았습니다.