① 어떤 상황에서 AI를 활용했나요?
"AI가 말했던 미수금 2,320만원. 실제로는 없는 돈이었다?"

안녕하세요. 저는 코딩을 모르는 기획자입니다. 1년 동안 AI(Claude Code)와 같이 회사 정산 시스템을 만들고 있습니다. 지사 60여 곳, 계약 약 2,500건의 받을 돈, 받은 돈, 밀린 돈, 보증금을 맞추는 일입니다.

개발 중에 있었던 사례 하나를 말씀드리겠습니다. 보증금을 안 받기로 한 지사 9곳이 전부 "보증금 미납"으로 잡혀 있었고, 그 금액이 2,320만원이었습니다. 그런데 AI가 만든 데이터 검증은 전부 초록불(정상)을 가리키고 있었습니다.

원본 데이터를 보니 실무자들은 보증금 칸에 모두 "x"라고 적어 두었습니다. 우리끼리는 "이 회사는 보증금을 안 받는다"는 뜻으로 써 온 표시입니다. 그런데 AI는 그 "x"를 "보증금을 못 받은 회사"로 읽고 있었습니다.

이처럼 "x"가 무슨 뜻인지, 어느 칸을 봐야 하는지, 실무에서 어떻게 쓰이는지는 그 일을 하는 사람만 압니다.

저는 이때 생각했습니다. AI는 정말 똑똑하고 누구나 똑같이 쓰지만, 각자의 실무에 맞게 자랄 수 있다면 진짜 실무를 위한 AI가 되지 않을까?

AX를 해 보신 분들이라면 아실 겁니다. 결국 막히는 부분은 "실무"입니다. AI가 각 회사, 각 사람의 실무를 모르기 때문입니다. 그래서 만든 것이 "LLM 위키 카이 버전"입니다.


② 어떤 AI를 어떻게 활용했나요?
AI는 대화가 끝나면 그 내용을 잊어버립니다. 어제 알려 준 걸 오늘 또 알려 줘야 합니다. 이걸 해결하려고 해외에서 공개된 방법이 "LLM 위키"입니다. AI가 일하면서 알게 된 걸 업무 노트로 남겨 두고 다음에 이어서 쓰는 방식입니다.

저는 여기서 한 걸음 더 나갔습니다. 기억만 하는 AI가 아니라, 저와 일하면서 스스로 크는 AI입니다.

앞의 보증금 건처럼 제가 한 번 바로잡아 준 실무는, 다음부터 AI가 먼저 챙깁니다. 같은 실수가 다시 나오지 않도록 AI가 스스로 그 자리를 보강하고, 그 보강이 제대로 일하는지도 스스로 확인합니다. 그리고 AI가 얼마나 컸는지를 매일 숫자로 잽니다.

지금은 AI가 일하는 방식을 지키는 기본 엔진 6가지와, 저랑 일하면서 계속 늘어나는 업무 엔진(엑셀 원본 정리, 통장 입금 대조, 정산 검증, 문자 발송, 회의 자료 생성 등)이 같이 돌아가고 있습니다.


③ 활용 결과 어떤 변화가 있었나요?
처음에는 AI가 틀린 걸 대부분 제가 찾아야 했습니다. 지금은 AI가 먼저 찾는 일이 계속 늘고 있습니다.

AI가 자기 실수를 저보다 먼저 찾은 비율은 9월 30일 46%에서 10월 19일 58%로 3주 만에 늘었습니다. 같은 실수를 막는 업무 검사는 같은 기간 2개에서 18개가 됐습니다.

그동안 AI도 화면도 "정상"이라고 했던 오류를 약 6,300만원어치 막았습니다.
- 보증금 건 2,320만원. 지금은 원본의 보증금 칸을 기준으로 읽습니다.
- "이번 달 예상 매출"에서 매달 마지막 날이 빠지고 있던 3,389만원. 한국 시간과 세계 표준시가 하루 어긋나 생긴 계산 오류였습니다.
- 새 버전이 다 올라가기 1분 11초 전에 AI가 "이제 파일을 올리셔도 됩니다"라고 안내해서, 청구 내역 1,847건이 다시 만들어진 일. 지금은 반영이 끝난 걸 확인한 뒤에만 안내합니다.


④ 나만의 방식 또는 개선 포인트는 무엇인가요?
AI는 "다 고쳤습니다"라고 자신 있게 말합니다. 그런데 실제로는 아닌 경우가 꽤 있었습니다. 그래서 저는 AI의 말 대신 숫자를 봅니다.

AI가 얼마나 컸는지는 제 느낌이 아니라 기록으로 셉니다. 지금까지 쌓인 242건 중 141건(58%)을 AI가 저보다 먼저 찾았고, 목표는 90%입니다.

숫자 하나만 보면 AI가 그 숫자만 좋게 만드는 쪽으로 움직일 수 있습니다. 그래서 여러 숫자를 같이 놓고 봅니다. 검사가 "통과"라고 해도 그대로 믿지 않고, 그 검사가 진짜 일하고 있는지도 따로 확인합니다. 실제로 검사가 파일 219개를 하나도 못 읽고 "통과"를 띄운 적이 있었기 때문입니다.

이 응모 글도 카이 버전과 같이 만들었습니다. 밖에 나가는 글이라, AI가 회사 정보와 내부 구조가 새는 곳이 없는지 다른 AI에게 읽혀 시험해 보고 고친 뒤 제출했습니다. 이런 점검도 이제 제가 매번 따로 시키지 않아도 됩니다.


⑤ 다른 사람도 따라 할 수 있나요?
네. 저도 코딩을 모릅니다. 제가 매일 하는 일은 AI가 정리해 준 걸 읽고, 틀린 걸 짚어 주는 것이 전부입니다.

이 구조는 실무자 한 명마다 붙습니다. 그 사람이 평소처럼 일하는 동안 AI가 그 사람의 판단과 그 회사의 실무를 배웁니다. 그래서 AI를 잘 몰라도 쓸 수 있고, 회사가 달라도 그 회사에 맞게 자랍니다.

제가 생각하는 100% AX는 회사에서 "새 프로젝트 검토해 줘" 한마디만 하면, AI가 회사의 모든 데이터를 보고 장단점, 리스크, 예상 순수익까지 분석해 제안하고, 기획부터 개발, QA, 업데이트까지 이어 가는 것입니다. 그 판단은 실무를 아는 사람만 할 수 있기 때문에, 실무자와 같이 크는 AI가 그 시작이 될 거라고 확신합니다.