[한눈에]
문제: AI는 특허 문서를 그럴듯하게 틀립니다. 법과 기술과 고객 사정을 한꺼번에 따지는 판단의 일이기 때문입니다.
방법: 그래서 정답지를 숨겼습니다. 숙련자의 완성본을 봉투에 넣고 AI가 혼자 쓰게 한 뒤, 다른 AI가 봉투를 열어 채점합니다.
지금: 아무도 시키지 않아도 평일 아침마다 시험이 돌고, 2년간 틀린 이유가 판단 기준 약 120만 자로 쌓였습니다.
① 어떤 상황에서 AI를 활용했나요?
2026년 10월 22일 새벽 5시 53분, 아무도 없는 사무실에서 AI가 먼저 일을 시작했습니다. 담당 사건들의 마감을 정리하고, 8시 53분에는 예약해 둔 시험을 시작했습니다. 저는 아무것도 시키지 않았습니다.
시험지는 숙련자가 반년 전 고객에게 보낸 특허 문서입니다. AI에게는 그 건의 처음 자료(발명 설명서, 면담 기록, 선행 조사 보고서)만 주고, 숙련자의 완성본은 정답지처럼 봉인합니다. AI는 2년간 쌓인 매뉴얼만 읽고 혼자 썼고, 29분이 걸렸습니다.
다 쓰자 작성에 관여하지 않은 다른 AI가 봉인을 열어, 두 문서의 다른 곳을 원문 그대로 짚었습니다. 그중 하나는 심사관이 바로 파고들 만한 실수였습니다. AI가 앞에서 "~를 낮출 수 있다"는 효과를 주장해 놓고, 뒤에는 그 효과가 성립하지 않는 실시예를 함께 썼습니다.
조사해 보니 원인은 AI가 아니라 매뉴얼의 빈칸이었고, 같은 종류의 실수가 이번이 네 번째였습니다. 앞의 세 번은 그 경우에만 맞는 줄을 하나씩 더해 막았는데, 이번 경우는 그 줄들에 걸리지 않았습니다. 그래서 그날은 세 줄을 한꺼번에 묶는 원칙 한 줄을 더했습니다.
그리고 하나 더. AI는 조사 보고서에 없던 외국 특허를 하나 찾아냈습니다. 처음 잡은 청구항 그대로였다면 신규성이 걸렸을 문헌입니다.
채점 AI는 반대쪽도 적었습니다. 오탈자처럼 숙련자 쪽이 틀리고 AI 쪽이 맞은 자리도 있었던 것입니다. 출근한 저는 이런 결과를 읽고, AI가 "여기는 결정해 주세요"라고 남긴 곳만 판단합니다.
이렇게까지 하는 이유는 특허 문서가 정답이 하나인 계산이 아니라 판단의 일이기 때문입니다. 한번은 심사관이 든 특허에 우리와 같은 동작이 있었는데, AI는 "동작은 같아도 쓰는 목적이 다릅니다"라고 답을 썼습니다. 그럴듯하지만, 특허에서는 이렇게 답하면 집니다.
2년 동안 이런 "틀렸다, 다시 써라" 지적이 담긴 메시지가 1,200개를 넘었습니다. 그런데 내 지적이 옳은 규칙인지, AI가 숙련자에 얼마나 가까워졌는지는 알 수 없었습니다. 그래서 "무엇을 더 가르칠까" 대신 "배우고 있는지를 어떻게 잴까"를 물었고, 그 답이 위의 시험입니다.
② 어떤 AI를 어떻게 활용했나요?
Claude로 네 가지 장치를 만들었습니다. 모두 과학 실험에서 쓰는 방법을 일에 옮긴 것입니다.
· 정답지는 봉투 속에 — 눈 가린 시험. 신약 시험에서 누가 진짜 약을 먹었는지 모르게 하듯, AI는 숙련자의 완성본을 보지 못한 채 처음 자료만으로 씁니다. 쓰는 AI와 채점하는 AI를 나눈 것은, 자기 글을 자기가 채점하면 후해지기 때문입니다.
· 짐작은 규칙이 못 된다 — 측정으로만 만드는 규칙. 숙련자 명세서 2,000여 문단을 28개 항목으로 재서, 모두 같으면 "규칙", 한두 건이면 "관찰", 숙련자끼리 갈리면 "편차"로 등급을 매깁니다. 10월 22일 AI가 자기 문서를 "짧다"고 판정했을 때도, 글자 수를 재 보니 숙련자와 거의 같았습니다.
· 범인은 AI가 아니라 매뉴얼 — 사고 조사. 비행기 사고 조사처럼, 틀릴 때마다 "네가 한 말 / 바른 것 / 뿌리 원인 / 다음에 막는 법" 네 줄로 기록합니다. 같은 실수가 또 나오면 "재발"로 표시하고, 앞선 대책이 왜 안 먹혔는지부터 조사합니다. 10월 22일의 원칙 한 줄이 이렇게 나왔습니다.
· 모든 규칙에 각주 — 출처가 달린 규칙. 논문의 각주처럼, 규칙마다 누가 언제 왜 정했는지가 붙어 있습니다. "사용자 확정, 날짜" 꼬리표가 붙은 규칙 줄이 339곳이고, 확인한 것과 추측한 것을 나눠 표시합니다.
이 네 장치를 Claude의 세 기능이 돌립니다. 스킬(업무 매뉴얼)이 기억, 크롬 플러그인이 회사 시스템에서 숙련자 문서를 가져오는 손(읽기만 함), 예약 작업이 사람 없는 아침의 시간입니다.
숙련자 완성본을 봉인한다 → AI가 매뉴얼대로 혼자 쓴다 → 다른 AI가 봉인을 열고 채점한다 → 틀린 이유를 네 줄로 조사한다 → 매뉴얼이 고쳐진다 → 다음 날 다른 건으로 다시
③ 활용 결과 어떤 변화가 있었나요?
· 잔소리가 책이 되었습니다. 2년 치 지적이 업무 매뉴얼 22권, 판단 기준 약 120만 자가 되었습니다. 22권은 177곳에서 서로를 가리키고, 같은 근거는 한 권에서만 관리합니다.
· 나아졌다는 증거가 나왔습니다. 10월 26일부터 30일까지 그때그때 고친 매뉴얼로 블라인드 시험 18번을 봤더니, 규칙으로 막을 수 있는 실수가 처음 세 번 평균 6.3곳에서 마지막 세 번 평균 1.3곳으로 줄었습니다. 학습곡선과 통계 검정은 별첨에 있습니다.
· 매뉴얼을 고친 이력은 676번이고, 그중 149번은 숙련자 문서와 대조하며 남긴 기록입니다.
· AI가 반드시 지키거나 멈춰야 할 자리를 매뉴얼에 1,200곳 넘게 경고로 표시했습니다. 비행기 이륙 전 체크리스트처럼, 되돌리기 어려운 일 앞에서는 AI가 혼자 진행하지 않고 묻습니다.
· 2023년 11월부터 제 이름으로 붙은 업무 680건 중, 고객이 고쳐 달라고 돌려보낸 것은 36건입니다. 한 고객 담당자는 화상 면담에서 "너무 잘 쓰셔서 얼굴 보고 싶었다"고 말했습니다.
· 제 일이 바뀌었습니다. 초안을 처음부터 끝까지 읽던 일에서, AI가 "여기는 결정해 주세요"라고 멈춘 곳에서 결정하는 일로.
④ 나만의 방식 또는 개선 포인트는 무엇인가요?
· 일부러 가르치지 않는 것이 있습니다 — 세 갈래. "규칙이 없어서 틀림 / 규칙을 안 지킴 / 사람만 할 수 있는 판단"으로 나누면 처방이 셋 다 달라집니다. 셋째는 일부러 규칙으로 만들지 않아, AI가 사람의 판단까지 흉내 내지 않게 합니다.
· 같은 실수는 한 줄씩이 아니라 종류째 막습니다. 재발이 나오면 앞선 대책들을 나란히 놓고 공통점을 찾습니다. 좁은 줄 여러 개가 같은 종류의 실수를 하나씩만 막고 있으면, 그 위에 원칙 한 줄을 올립니다.
· 내 답부터 깨뜨려 봅니다 — 반증 먼저. 과학자가 가설을 깨뜨릴 실험부터 해 보듯, AI는 청구항을 잡으면 그것을 깨뜨릴 문헌부터 다시 찾습니다. 10월 22일의 외국 특허가 이 단계에서 나왔습니다.
· 적어 둔 규칙은 믿지 않습니다. 글로 적힌 규칙은 AI가 건너뛰는 날이 옵니다. 그래서 규칙이 지켜졌는지를 눈 가린 시험으로 계속 확인합니다.
[이 방법의 윤리와 책임 — 처음부터 설계에 넣은 것]
AI에게 스스로 배우게 하는 방법이라, AI가 사람의 판단과 책임까지 가져가지 않게 막는 것이 핵심이었습니다. 10월 22일에도 아래 원칙들이 실제로 작동했습니다.
· 모르면 멈춥니다. 그날 AI는 분량이 모자라 보여도 처음 자료에 없는 내용을 채워 넣지 않고 멈췄습니다. 특허 문서에 지어낸 내용이 들어가면 고객의 권리가 흔들리기 때문입니다.
· AI가 이겨도 정답지는 바꾸지 않습니다. 쓴 AI와 채점하는 AI를 나누고, 기준은 AI의 자기 평가가 아니라 사람 숙련자의 완성본입니다. 그날 숙련자 쪽 오탈자가 보였어도 기준은 바꾸지 않고, AI 쪽 점수에 유리하게 쓰지도 않았습니다.
· 사람의 판단은 AI에게 가르치지 않습니다. 숙련자가 고객 사정을 보고 내린 선택은 규칙으로 만들지 않고 기록만 합니다. AI가 맥락 없이 흉내 내면 다른 고객에게 잘못 적용되기 때문입니다.
· 보내는 버튼은 사람만 누릅니다. 시험 문서는 채점에만 쓰고 고객에게 나가지 않으며, 고객에게 나가는 문서는 사람이 검토한 뒤에만 나갑니다. 보내기·제출·삭제는 사람만 합니다.
· 고객 이름은 매뉴얼도 모릅니다. AI 계정은 대화가 모델 학습에 쓰이지 않게 설정했고, 매뉴얼에는 "어떻게"만 적고 고객 이름·사건 번호·발명 내용은 적지 않습니다. 이 응모 자료와 영상에도 그런 정보는 없습니다.
· 답안지는 사무소 밖으로 나가지 않습니다. 회사 시스템에서는 읽기만 하고, 답안지로 쓰는 숙련자 문서는 업무 개선에만 씁니다.
⑤ 다른 사람도 따라 할 수 있나요?
네. 조건은 하나, 잘한 사람의 완성본(답안지)이 남는 일이면 됩니다. 보고서, 계약서 검토, 설계 검토, 번역 모두 그렇고, 세 기능 모두 Claude 앱에 들어 있습니다.
· 첫 주: 가장 자주 하는 잔소리 세 개를 네 줄로 적어 매뉴얼에 넣습니다. "방금 지적을 '네가 한 말 / 바른 것 / 뿌리 원인 / 다음에 막는 법' 네 줄로 정리해서 스킬에 넣어 줘."
· 둘째 주: 답안지 하나로 눈 가린 시험을 해 봅니다. 처음 자료만 주고 쓰게 한 뒤, 새 대화에서 "두 개를 비교해 다른 곳을 '규칙 없음 / 규칙 안 지킴 / 이 건만의 사정'으로 나눠 줘"라고 합니다. 쓴 대화와 채점하는 대화를 나누는 것이 요령입니다.
복사해서 붙이는 여섯 줄도 적어 둡니다. 어느 AI든 대화마다 먼저 읽히는 칸(프로젝트 지침 등)에 붙여 넣으면 됩니다.
[내 판단 기준 매뉴얼 — 사용 규칙]
1. 일을 시작하기 전에 매뉴얼을 읽고, 이번 작업에 해당하는 줄을 먼저 밝힌다.
2. 내가 지적하면 "네가 한 말 / 바른 것 / 뿌리 원인 / 다음에 막는 법" 네 줄로 정리하고, 매뉴얼에 붙일 문장을 써 준다.
3. 매뉴얼에는 내가 정한 것만 들어간다. 네 짐작은 [확인 안 됨]에 따로 두고, 근거가 3건 모이기 전에는 기준처럼 쓰지 않는다.
4. 같은 실수가 다시 나오면 줄을 늘리지 말고, 이미 있는 줄이 왜 안 걸렸는지 말한 뒤 그 줄을 고친다.
5. 잘한 사람의 완성본과 비교할 때는 다른 곳을 "규칙 없음 / 규칙 안 지킴 / 이 건만의 사정"으로 나누고, 마지막 것은 규칙으로 만들지 않는다.
6. 되돌리기 어려운 결정은 멈추고 묻는다. 매뉴얼에는 "어떻게"만 적고 고객 이름·사건 내용은 적지 않는다.
[매뉴얼]
[확인 안 됨]
이 여섯 줄을 Gemini에 붙여 시험해 보니, 지적하자 네 줄 정리와 매뉴얼에 붙일 문장을 내놓았습니다. 규칙은 어느 AI에서나 같고, 사람 없이 돌게 하는 것이 Claude의 세 기능입니다.
이 신청서의 글과 별첨, 소개 영상은 모두 Claude와 대화하며 만들었습니다. 영상은 ①의 하루를 옮긴 것으로, 실사풍 장면은 Google Flow의 Veo로, 내레이션은 Google Gemini 음성으로 만든 AI 결과물입니다. 숫자는 작업 기록에서 자동으로 센 것입니다.
■ 참고 자료
· 사용 도구: Claude (Anthropic). 스킬 기능 설명 — support.claude.com/en/articles/12512176, 예약 작업 설명 — support.claude.com/en/articles/13854387
· 측정 근거(본인 보관, 요청 시 제시): 대화 기록 888개에서 센 메시지 수, 업무 매뉴얼 22권과 고친 이력, 숙련자 명세서 측정표, 블라인드 시험 채점 대장, 회사 업무 목록. 지적 메시지 수는 "틀렸·잘못·다시·고쳐·누락" 같은 표현이 든 메시지를 자동으로 센 값입니다.