제 지갑에는 카드가 9장 있습니다. 체크카드 3장, 신용카드 6장인데, 카드마다 할인되는 곳도, 전월에 써야 하는 금액도, 한 달 할인 한도도 다 다릅니다. 한 카드는 스타벅스에서 50%를 깎아 주지만 하루 1번, 한 달 2번까지만 되고, 영화관에서는 또 다른 카드가 35%입니다. 계산대 앞에서 이걸 다 떠올릴 수는 없어서, "어디서 얼마를 쓰면 어떤 카드가 이득인지" 알려 주는 챗봇을 만들어 보기로 했습니다.

처음에는 AI에게 그냥 물어보면 될 거라고 생각했습니다. 그래서 "오후 7시 CGV에서 영화 18000원, 어떤 카드가 제일 이득이야?"라고 물었는데, AI(ChatGPT)는 카드 세 장 모두 "18,000원 할인"이라고 답했습니다. 18,000원짜리 영화가 공짜라는 뜻이었죠. 상품설명서로 직접 계산한 정답은 6,300원(18,000원 × 35%)이었습니다.

한 번 틀린 건지, 원래 이 정도인지 궁금해서 직접 재 보기로 했습니다. 개발하면서 한 번도 쓰지 않은 가게(CGV, 에버랜드, 올리브영, 요기요, 고속버스 등)로 시험 문제 15개를 만들고, 문제와 정답을 먼저 저장해 잠가 둔 뒤 한 번만 측정했습니다. 카드 자료 없이 그냥 물었을 때 AI가 1위 카드 할인액을 맞힌 건 15개 중 1개였고, 카드 자료를 주고 계산까지 맡겨도 5개뿐이었습니다. 틀린 곳은 대부분 "전월 실적을 채웠는지", "이번 달 한도가 남았는지" 같은 조건을 따지는 부분이었습니다.

그래서 AI에게 맡기는 일을 줄이기로 했습니다. 챗봇은 Claude Code(코드를 대신 짜 주는 AI)와 함께 9월 29일부터 10월 12일까지 약 2주 동안 만들었습니다. 무엇을 만들지, 어디가 틀렸는지, 어떻게 바꿀지는 제가 정하고, 코드는 Claude Code가 쓰고 고치고 테스트했습니다. 먼저 카드사 상품설명서 PDF 12개를 읽어 카드 9장, 혜택 65개를 같은 틀의 데이터로 정리하고, 혜택마다 "설명서 몇 쪽"이라는 근거를 달았습니다.

그다음 역할을 나눴습니다. 처음에는 AI가 질문을 이해하는 것부터 조건 판단, 금액 계산, 답변까지 전부 했고, 같은 질문인데 실행할 때마다 해석이 달라지기도 했습니다. 바꾼 구조에서는 코드가 질문을 미리 정해 둔 칸(가게·금액·수량·시간·요일·결제수단)에 채우고, 전월 실적·한도·남은 횟수를 따져 금액을 계산합니다. AI(ChatGPT)는 코드가 모르는 가게 이름이 나왔을 때 "이 가게일 것 같다"는 후보만 내고, 그 이름이 질문에 글자 그대로 있을 때만 씁니다. 계산은 코드에게, 말 알아듣기만 AI에게 맡긴 셈입니다.

구조를 바꾼 뒤에는 일부러 챗봇을 헷갈리게 했습니다. 헷갈리는 질문 62개를 던졌더니 오류가 33건 나왔습니다. "이마트24 12000원"을 241만 2천 원으로 계산하고, "아마존 직구 5만원"은 '구'를 숫자 9로 읽어 95만 원으로 계산하는 식이었습니다. 하나씩 고쳐 0건으로 만들었지만, 여기서 중요한 걸 배웠습니다. 고친 문제만 다시 돌리면 점수는 늘 좋게 나온다는 것입니다. 실제로 처음 보는 표현으로 다시 시험하자 30개 중 26개만 맞았습니다. 그 뒤로는 측정할 때마다 새 문제를 만들어 미리 잠가 두었습니다. 혜택이 겹칠 때 설명서에 "같이 받을 수 있다"는 말이 없으면 큰 혜택 하나만 계산하고, "일본에서 1만엔"처럼 원화 금액을 모르면 짐작하지 않고 되묻도록 한 것도 같은 이유입니다. 틀리게 부풀리는 것보다 적게 말하는 쪽이 안전하다고 봤습니다.

그렇게 해서 처음 쟀던 15문제를 최종 챗봇은 15개 모두 맞혔습니다. 개발하면서 쓴 100문항에서도 AI 단독 11개, AI 계산 42개였던 것이 100개가 됐고, 새로 만든 문제로 다시 재도 15개 중 15개, 40개 중 39개를 맞혔습니다. 틀린 1개는 "아웃백"의 '백'을 숫자 100으로 읽은 경우인데, 점수를 올리려고 고쳐서 다시 재지 않고 실패 사례로 그대로 남겼습니다. 정답도 그냥 믿지 않았습니다. 시험 문제의 정답은 Claude가 먼저 계산했지만, 10월 12일 제가 정답 70개를 상품설명서 원문과 직접 대조했고 고칠 것은 없었습니다.

이제 결제하기 전에 "오후 2시 스벅 15000원"이라고만 치면, 어떤 카드로 내야 하는지와 이번 달에 몇 번, 얼마나 더 받을 수 있는지가 "15,000원 × 50% = 7,500원 → 커피 하루 한도 5,000원"처럼 계산 근거와 설명서 쪽수와 함께 나옵니다.

이 경험은 챗봇을 만들지 않는 분들도 AI에게 숫자가 걸린 질문을 할 때 그대로 쓸 수 있습니다. 할인액이나 이자, 세금처럼 틀리면 손해인 숫자는 엑셀이나 계산기로 한 번 더 셈하고, AI에게는 "어떤 조건을 따져야 하는지"를 묻는 편이 안전합니다. 답을 받을 때는 "설명서 몇 쪽에 있는 내용인지 같이 적어 줘"처럼 근거를 함께 요구하면 틀린 답을 바로 걸러 낼 수 있습니다. 내가 답을 아는 질문 몇 개로 먼저 시험해 보면 그 AI를 어디까지 믿어도 될지 감이 오고, "말고", "1.5만 원", "이마트24"처럼 평소 말투로 헷갈리게 물어봐야 진짜 약점이 보입니다.

AI가 15문제 중 1개만 맞혔다고 해서 AI가 쓸모없다는 이야기는 아닙니다. 이 챗봇의 코드는 처음부터 끝까지 AI와 함께 썼고, 가게 이름을 알아듣는 일도 AI가 합니다. 달라진 건 AI에게 무엇을 맡기고, 무엇을 사람이 확인하느냐였습니다.