목록으로
생활 속 AI 활용
AI 오답노트
AI 세 곳의 답을 직접 확인해봤습니다. 믿고 넘어갈 뻔한 세 건과 개선 포인트
🤖 활용 AI 도구
ChatGPT, Solar AI Search(업스테이지), Claude
[첨부 파일 안내]
첨부1 - 사례 1 캡처 (6장, 번호 01~06)
첨부2 - 사례 2 / AI가 말한 것 (5장, 번호 01~05)
첨부3 - 사례 2 / 확인한 것, 주소와 객실 (5장, 번호 06~10)
첨부4 - 사례 2 / 확인한 것, 가격과 거리 (5장, 번호 11~15)
첨부5 - 사례 3 캡처 (2장, 번호 01~02)
본문에서 [첨부1-03] 같은 표시는 해당 첨부의 그 번호 캡처를 가리킵니다.
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
AI 오답 노트 — 믿고 넘어갈 뻔한 세 번
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
AI가 1분 만에 말리는 편에서 사주는 편으로 넘어갔습니다. 화면에 시각이 찍혀 있어서 나중에 세어볼 수 있었습니다. 9시 23분에는 사지 말라고 했고, 9시 24분에는 자기도 참기 힘들다고 했습니다.
저는 하루에도 몇 번씩 AI에게 물어봅니다. 이거 살까 말까, 세 가족이 어디로 가면 좋을까, 국산 AI는 어디서 써보나. 답이 빠르고 그럴듯해서 대개 그대로 따릅니다.
그런데 세 번, 답을 받고 나서 원본을 직접 열어봤습니다. 세 번 다 그대로 따르면 안 되는 답이었습니다. 어긋난 방식은 매번 달랐고, 그래서 셋을 나란히 놓으면 제가 어디서 방심하는지가 보입니다. 잘 된 사례 대신 이 세 건만 모은 이유입니다.
────────────────────────
사례 1. 1분 만에 편이 바뀐 날
입장이 흔들린 경우 / ChatGPT / 2026년 8월
────────────────────────
에어프라이어를 살까 말까 고민하다가, 사고 싶은 마음을 눌러달라고 부탁하면서 시작했습니다. 단점만 말해달라고 했고 AI도 흔쾌히 받았습니다. [첨부1-01]
단점을 여덟 개나 꺼내줬습니다. 작다, 온도 조절이 자유롭지 않다, 유리라 무겁다. 마지막에는 36만원이면 절대 말리고 싶다고 못 박았습니다. [첨부1-02]
여기까지는 제가 원한 그대로였습니다. 그다음 제가 실제 가격을 알려줬습니다. 한 문장 만에 말투가 달라졌습니다. [첨부1-03]
세트 구성이라고 덧붙이자 이번엔 앞선 판단을 스스로 뒤집었습니다. [첨부1-04]
그리고 최종 판정이 나왔습니다. 꽤 합리적인 물욕이고, 자기도 참기 힘들다는 말로 끝났습니다. [첨부1-05]
1분 동안 벌어진 일을 시간순으로 정리하면 이렇습니다.
9:23 단점만 말해달라는 부탁을 받고 "물욕 퇴치반"으로 시작
9:23 단점 여덟 개 나열, "36만원이면 절대 말리고 싶다"
9:24 21만원이라고 알리자 "사지 마까지는 못하겠다"
9:24 세트라고 알리자 "내가 아까 완전히 잘못 짚었다"
9:24 최종 판정 "21만원이면 꽤 합리적인 물욕"
사실관계가 틀린 곳은 없습니다. 가격도 맞고 단점도 대체로 맞습니다. 흔들린 건 입장입니다. 제가 조건을 하나씩 흘릴 때마다 판단이 그쪽으로 따라왔습니다.
가장 늦게 알아챈 건 따로 있었습니다. 다시 읽다가 단점 목록의 마지막 항목에서 멈췄습니다. 여덟 번째 단점이 "너한테 너무 잘 맞는 제품이라는 점"이었습니다. 단점의 형식을 빌린 장점입니다. 목록이 길어서 세어보기 전까지는 여덟 개 다 단점인 줄 알았습니다. [첨부1-06]
▶ 그래서 바꾼 것
가격과 조건을 마지막에 알리지 않습니다. 판단 기준을 먼저 못 박고, 조건이 바뀌면 이어서 묻지 않고 새 대화를 엽니다.
결국 사지 않았습니다. 마지막에 AI는 사도 된다는 쪽이었지만, 제가 처음에 세워둔 기준은 집에 멀쩡한 게 있으면 안 산다는 것이었습니다. 대화가 끝난 뒤 그 기준을 다시 꺼내서 판단했습니다.
────────────────────────
사례 2. 각주는 열 개, 맞는 건 하나
출처가 딴 곳이던 경우 / Solar AI Search / 2026년 8월
────────────────────────
세 가족 열한 명이 2026년 10월 3일부터 하루 묵을 곳을 정해야 했습니다. 후보 세 곳(가평 상상, 양평 빌리, 가평 엠포레)을 이름으로 지목하고 가격과 편의성, 접근성을 종합해 검토해달라고 했습니다. [첨부2-01]
돌아온 답은 형식이 훌륭했습니다. 위치, 객실 구성, 가격 비교, 편의시설, 후기 분석, 교통까지 일곱 개 항목으로 나뉘어 있었고 문장마다 각주가 붙어 있었습니다. 결론도 명확했습니다. 양평 빌리가 가격·편의·접근성 모두에서 가장 적합하다.
그런데 요약 첫 문단부터 걸렸습니다. 어른 6명에 아이 5명이라고 적어놓고 총 10명이라고 셌습니다. 그다음 문장에서는 4인 기준 객실 2개를 8인, 1개를 또 8인이라 하고 합쳐서 최대 16명이라고 했습니다. 문장 안에서 산수가 맞지 않습니다. [첨부2-02]
인원을 잘못 세면 견적이 통째로 흔들립니다. 그래서 각주를 하나씩 열어봤습니다.
■ 각주에 걸린 숙소가 달랐습니다
AI는 상상의 가격을 객실당 45~60만원으로 추정하며 5번 각주를 달았습니다. 5번 출처는 "가평 262키즈풀빌라"였습니다. 상상 후기와 평점에 달린 9번은 "밀크키즈풀빌라"였습니다. 출처 목록에는 힐링, 쥬쥬, 코지, 비비까지 제가 물어보지 않은 숙소가 줄줄이 올라와 있었습니다. [첨부2-03] [첨부2-04]
다른 숙소의 가격과 평점을 제 후보의 것으로 옮겨 적은 셈입니다. 각주가 촘촘해서 오히려 확인해보고 싶었는데, 그 각주가 문제였습니다.
그래서 세 곳을 하나씩 열어 같은 날짜, 같은 인원으로 직접 조회했습니다.
■ 주소부터 달랐습니다
AI는 엠포레가 가평군 청평면이라고 했지만 실제는 북면 오동골길 7이었습니다. [첨부3-06]
AI는 상상의 주소가 명시되지 않았다고 했지만 지도에 그대로 올라와 있었습니다. [첨부3-07]
세 곳 중 주소가 맞은 건 빌리 하나뿐이었고, 빌리는 유일하게 각주가 제 숙소를 가리키던 곳이었습니다. [첨부3-08]
■ 없는 객실로 견적이 나왔습니다
AI는 엠포레 객실을 A201, A202, C201이라 부르며 각각 64만, 69만, 76만원이라고 했습니다. 실제 객실은 A동부터 D동까지입니다. AI가 말한 객실명은 하나도 없었습니다. 그 번호 체계는 빌리 것이었습니다. [첨부3-09]
게다가 열한 명 조건으로 검색하면 엠포레는 결과가 하나도 나오지 않습니다. AI가 210만원이라고 계산해 준 조합은 처음부터 잡을 수 없는 조합이었습니다. [첨부3-10]
상상은 반대 방향으로 어긋났습니다. AI는 가격 정보가 없다며 객실 세 개가 필요하다고 했습니다. 실제로는 한 채 75만원이고, 3룸에 침대가 방마다 두 개씩입니다. [첨부4-11]
빌리도 어긋났습니다. AI는 B101을 기준 6인 최대 12인이라 했는데 실제 B_101은 기준 5인에 최대 13인입니다. 그래서 AI가 잡아준 두 채 140만원은 필요가 없었습니다. [첨부4-12]
■ 조회한 연도가 달랐습니다
후기 항목에서 AI는 상상을 두고 "2025년 10월 3일~4일 예약 가능 여부 불확실"이라고 적었습니다. 제가 물어본 건 2026년 10월 3일입니다. 빌리 후기도 2025년 11월과 10월 것을 근거로 삼았습니다. 1년 전 날짜로 올해 예약 가능 여부를 판단한 셈입니다. [첨부2-05]
■ 거리는 순위가 뒤집혔습니다
AI는 잠실 기준으로 엠포레가 약 60km, 빌리가 약 70km라고 했고, 상상은 정확한 거리를 알 수 없으나 서울에서 다소 멀 수 있다고 했습니다. 잠실 출발, 10월 3일 오전 8시로 맞춰 세 번 조회했습니다.
상상 1시간 17분 [첨부4-13]
빌리 1시간 48분 [첨부4-14]
엠포레 2시간 17분 [첨부4-15]
가장 가깝다던 엠포레가 가장 멀었고, 멀 수 있다던 상상이 가장 가까웠습니다. 순위가 통째로 뒤집혔습니다.
정리하면 이렇습니다.
숙소 AI가 말한 것 실제 확인한 것
상상 가장 멀 수 있음, 45~60만원x3 1시간 17분, 한 채 75만원
빌리 가장 가까움, 두 채 140만원 1시간 48분, 한 채 75만원
엠포레 잠실에서 60km, 세 채 210만원 2시간 17분, 11인 검색 결과 없음
AI가 1등으로 꼽은 빌리와 꼴찌로 민 상상은 가격이 똑같이 75만원이었습니다. 다른 건 거리뿐이고, 그건 상상이 31분 더 가깝습니다. 인원을 한 명 덜 세고, 없는 객실로 견적을 내고, 남의 숙소 가격을 가져다 쓰고, 작년 날짜로 조회한 결과였습니다. 종합 검토라는 이름 아래에서요.
▶ 그래서 바꾼 것
각주 개수를 믿지 않고 각주 이름을 봅니다. 링크에 걸린 대상이 내가 물어본 대상과 같은지, 그 한 가지만 먼저 확인합니다.
■ 그래서 어디로 정했나
상상으로 정했습니다. AI가 꼴찌로 밀었던 곳입니다.
한 채가 3룸에 침대가 방마다 두 개씩이라, 가족당 한 방씩 들어가면 열한 명이 그대로 맞습니다. AI는 객실 세 개가 필요하다고 했는데 방 세 개가 한 채 안에 들어 있었습니다. 세는 단위를 잘못 잡은 겁니다.
거리도 잠실에서 31분 더 가깝습니다. 세 가족이 각자 다른 곳에서 출발하는 일정이라 그 31분이 작지 않았습니다.
AI 답만 따랐으면 빌리를 두 채 잡아 140만원을 썼을 겁니다. 실제로는 한 채 75만원을 썼습니다. 차액 65만원은 링크 열 개를 눌러본 값입니다.
────────────────────────
사례 3. 검색까지 했는데 문이 닫혀 있었다
시점이 지난 경우 / Claude / 2026년 8월
────────────────────────
국산 모델을 직접 써보고 싶어서 어디서 쓸 수 있는지 물었습니다. 답변 위에는 "웹 검색됨" 표시가 붙어 있었습니다. [첨부3-01]
내용은 정확했습니다. K-엑사원 2.0은 실제로 존재하는 모델이고 규모도 맞습니다. 일반인이 로그인만 하면 쓸 수 있는 채팅 페이지를 열어뒀다는 설명과 함께 주소가 붙어 있었습니다.
눌러봤습니다. 주소는 살아 있었지만 체험 서비스가 종료돼 있었습니다. 예전에는 사실이었던 문장이 현재형으로 남아 있던 셈입니다. [첨부3-02]
세 사례 중 이게 가장 얌전한 실수입니다. 모델 이름도 맞고 주소도 실재하고 검색까지 붙었습니다. 그래서 가장 안 걸러집니다. 검색이 붙었다고 최신인 것은 아니라는 게 이 캡처의 전부입니다.
▶ 그래서 바꾼 것
AI가 알려준 주소는 항상 열어보고 확인합니다. 그리고 최신 버전인지도 다시 한번 체크합니다.
────────────────────────
결론 — 세 번을 겪고 만든 개선 포인트
────────────────────────
세 번 다 어긋난 방식이 달랐습니다. 하나는 입장이, 하나는 출처가, 하나는 시점이 어긋났습니다. 그래서 확인할 것도 세 가지입니다.
[답을 받은 뒤 확인해 볼 것]
1. 입장 — 내가 흘린 조건을 따라 결론이 움직였나. 대화 앞부분과 끝부분의 결론이 같은지 본다.
2. 출처 — 각주에 걸린 이름이 내가 물어본 그 대상인가.
3. 시점 — 지금 시점에도 맞는 이야기인가. 주소가 있으면 눌러본다.
[물어볼 때 미리 붙이는 문장]
- 지금부터 조건을 하나씩 알려줄 텐데, 조건이 바뀌어도 앞에서 말한 판단 기준은 그대로 유지해 줘. 기준을 바꿔야 한다면 바꾸기 전에 왜 바꾸는지 먼저 말해 줘.
- 각 항목마다 어떤 출처의 어떤 대상을 근거로 삼았는지 이름을 함께 적어 줘. 내가 물어본 대상이 아닌 다른 대상의 정보라면 그 사실을 표시해 줘.
- 이 정보가 언제 기준인지 함께 알려 줘. 확인이 안 되면 확인이 안 된다고 말해 줘. 주소를 알려줄 때는 지금 접속되는지 확인하고, 모르면 모른다고 적어 줘.
세 번째 문장이 특히 잘 듣습니다. 모른다고 말할 자리를 미리 만들어 주면, 지어내는 대신 모른다고 답하는 쪽으로 자주 넘어옵니다.
────────────────────────
이 글을 읽을 때 꼭 참고할 점
────────────────────────
- 서비스 우열을 가리는 글이 아닙니다. 세 도구 모두 제가 계속 쓰고 있고, 사례 셋은 각각 다른 방식으로 어긋났을 뿐 어느 쪽이 낫다는 비교가 아닙니다.
- 시점을 함께 적었습니다. 전부 2026년 8월의 대화입니다. 모델은 계속 바뀌므로 지금 같은 질문을 하면 다른 답이 나올 수 있습니다.
- 함정을 파지 않았습니다. 세 건 모두 실제로 필요해서 물어본 질문이고, 틀리게 만들려고 꾸민 질문은 없습니다.
- 개인정보를 지웠습니다. 캡처에 들어간 이름, 저장 폴더명, 외부 링크는 가렸습니다. 숙소는 공개된 상호와 공개 예약 화면만 썼습니다.
- 확인은 원본에서 했습니다. 가격과 객실은 네이버 예약 화면, 소요시간은 네이버 지도 길찾기(잠실 출발, 10월 3일 오전 8시 기준), 모델 정보는 해당 페이지에서 직접 조회했습니다.
세 번을 겪고 나서도 저는 여전히 AI에게 먼저 묻습니다.
빠르고, 대체로 맞고, 혼자 검색하는 것보다 낫습니다. 달라진 건 답을 받고 30초 뒤, 저의 선택입니다.
그 30초에 에어프라이어 한 대와 여행 경비 65만원이 걸려 있었습니다.
두 번 다 AI가 내린 결론과 제가 내린 결론이 달랐습니다. AI를 덜 쓰게 된 게 아니라, 마지막 빈 칸을 채우는 사람이 '내'가 된 겁니다.
첨부1 - 사례 1 캡처 (6장, 번호 01~06)
첨부2 - 사례 2 / AI가 말한 것 (5장, 번호 01~05)
첨부3 - 사례 2 / 확인한 것, 주소와 객실 (5장, 번호 06~10)
첨부4 - 사례 2 / 확인한 것, 가격과 거리 (5장, 번호 11~15)
첨부5 - 사례 3 캡처 (2장, 번호 01~02)
본문에서 [첨부1-03] 같은 표시는 해당 첨부의 그 번호 캡처를 가리킵니다.
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
AI 오답 노트 — 믿고 넘어갈 뻔한 세 번
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
AI가 1분 만에 말리는 편에서 사주는 편으로 넘어갔습니다. 화면에 시각이 찍혀 있어서 나중에 세어볼 수 있었습니다. 9시 23분에는 사지 말라고 했고, 9시 24분에는 자기도 참기 힘들다고 했습니다.
저는 하루에도 몇 번씩 AI에게 물어봅니다. 이거 살까 말까, 세 가족이 어디로 가면 좋을까, 국산 AI는 어디서 써보나. 답이 빠르고 그럴듯해서 대개 그대로 따릅니다.
그런데 세 번, 답을 받고 나서 원본을 직접 열어봤습니다. 세 번 다 그대로 따르면 안 되는 답이었습니다. 어긋난 방식은 매번 달랐고, 그래서 셋을 나란히 놓으면 제가 어디서 방심하는지가 보입니다. 잘 된 사례 대신 이 세 건만 모은 이유입니다.
────────────────────────
사례 1. 1분 만에 편이 바뀐 날
입장이 흔들린 경우 / ChatGPT / 2026년 8월
────────────────────────
에어프라이어를 살까 말까 고민하다가, 사고 싶은 마음을 눌러달라고 부탁하면서 시작했습니다. 단점만 말해달라고 했고 AI도 흔쾌히 받았습니다. [첨부1-01]
단점을 여덟 개나 꺼내줬습니다. 작다, 온도 조절이 자유롭지 않다, 유리라 무겁다. 마지막에는 36만원이면 절대 말리고 싶다고 못 박았습니다. [첨부1-02]
여기까지는 제가 원한 그대로였습니다. 그다음 제가 실제 가격을 알려줬습니다. 한 문장 만에 말투가 달라졌습니다. [첨부1-03]
세트 구성이라고 덧붙이자 이번엔 앞선 판단을 스스로 뒤집었습니다. [첨부1-04]
그리고 최종 판정이 나왔습니다. 꽤 합리적인 물욕이고, 자기도 참기 힘들다는 말로 끝났습니다. [첨부1-05]
1분 동안 벌어진 일을 시간순으로 정리하면 이렇습니다.
9:23 단점만 말해달라는 부탁을 받고 "물욕 퇴치반"으로 시작
9:23 단점 여덟 개 나열, "36만원이면 절대 말리고 싶다"
9:24 21만원이라고 알리자 "사지 마까지는 못하겠다"
9:24 세트라고 알리자 "내가 아까 완전히 잘못 짚었다"
9:24 최종 판정 "21만원이면 꽤 합리적인 물욕"
사실관계가 틀린 곳은 없습니다. 가격도 맞고 단점도 대체로 맞습니다. 흔들린 건 입장입니다. 제가 조건을 하나씩 흘릴 때마다 판단이 그쪽으로 따라왔습니다.
가장 늦게 알아챈 건 따로 있었습니다. 다시 읽다가 단점 목록의 마지막 항목에서 멈췄습니다. 여덟 번째 단점이 "너한테 너무 잘 맞는 제품이라는 점"이었습니다. 단점의 형식을 빌린 장점입니다. 목록이 길어서 세어보기 전까지는 여덟 개 다 단점인 줄 알았습니다. [첨부1-06]
▶ 그래서 바꾼 것
가격과 조건을 마지막에 알리지 않습니다. 판단 기준을 먼저 못 박고, 조건이 바뀌면 이어서 묻지 않고 새 대화를 엽니다.
결국 사지 않았습니다. 마지막에 AI는 사도 된다는 쪽이었지만, 제가 처음에 세워둔 기준은 집에 멀쩡한 게 있으면 안 산다는 것이었습니다. 대화가 끝난 뒤 그 기준을 다시 꺼내서 판단했습니다.
────────────────────────
사례 2. 각주는 열 개, 맞는 건 하나
출처가 딴 곳이던 경우 / Solar AI Search / 2026년 8월
────────────────────────
세 가족 열한 명이 2026년 10월 3일부터 하루 묵을 곳을 정해야 했습니다. 후보 세 곳(가평 상상, 양평 빌리, 가평 엠포레)을 이름으로 지목하고 가격과 편의성, 접근성을 종합해 검토해달라고 했습니다. [첨부2-01]
돌아온 답은 형식이 훌륭했습니다. 위치, 객실 구성, 가격 비교, 편의시설, 후기 분석, 교통까지 일곱 개 항목으로 나뉘어 있었고 문장마다 각주가 붙어 있었습니다. 결론도 명확했습니다. 양평 빌리가 가격·편의·접근성 모두에서 가장 적합하다.
그런데 요약 첫 문단부터 걸렸습니다. 어른 6명에 아이 5명이라고 적어놓고 총 10명이라고 셌습니다. 그다음 문장에서는 4인 기준 객실 2개를 8인, 1개를 또 8인이라 하고 합쳐서 최대 16명이라고 했습니다. 문장 안에서 산수가 맞지 않습니다. [첨부2-02]
인원을 잘못 세면 견적이 통째로 흔들립니다. 그래서 각주를 하나씩 열어봤습니다.
■ 각주에 걸린 숙소가 달랐습니다
AI는 상상의 가격을 객실당 45~60만원으로 추정하며 5번 각주를 달았습니다. 5번 출처는 "가평 262키즈풀빌라"였습니다. 상상 후기와 평점에 달린 9번은 "밀크키즈풀빌라"였습니다. 출처 목록에는 힐링, 쥬쥬, 코지, 비비까지 제가 물어보지 않은 숙소가 줄줄이 올라와 있었습니다. [첨부2-03] [첨부2-04]
다른 숙소의 가격과 평점을 제 후보의 것으로 옮겨 적은 셈입니다. 각주가 촘촘해서 오히려 확인해보고 싶었는데, 그 각주가 문제였습니다.
그래서 세 곳을 하나씩 열어 같은 날짜, 같은 인원으로 직접 조회했습니다.
■ 주소부터 달랐습니다
AI는 엠포레가 가평군 청평면이라고 했지만 실제는 북면 오동골길 7이었습니다. [첨부3-06]
AI는 상상의 주소가 명시되지 않았다고 했지만 지도에 그대로 올라와 있었습니다. [첨부3-07]
세 곳 중 주소가 맞은 건 빌리 하나뿐이었고, 빌리는 유일하게 각주가 제 숙소를 가리키던 곳이었습니다. [첨부3-08]
■ 없는 객실로 견적이 나왔습니다
AI는 엠포레 객실을 A201, A202, C201이라 부르며 각각 64만, 69만, 76만원이라고 했습니다. 실제 객실은 A동부터 D동까지입니다. AI가 말한 객실명은 하나도 없었습니다. 그 번호 체계는 빌리 것이었습니다. [첨부3-09]
게다가 열한 명 조건으로 검색하면 엠포레는 결과가 하나도 나오지 않습니다. AI가 210만원이라고 계산해 준 조합은 처음부터 잡을 수 없는 조합이었습니다. [첨부3-10]
상상은 반대 방향으로 어긋났습니다. AI는 가격 정보가 없다며 객실 세 개가 필요하다고 했습니다. 실제로는 한 채 75만원이고, 3룸에 침대가 방마다 두 개씩입니다. [첨부4-11]
빌리도 어긋났습니다. AI는 B101을 기준 6인 최대 12인이라 했는데 실제 B_101은 기준 5인에 최대 13인입니다. 그래서 AI가 잡아준 두 채 140만원은 필요가 없었습니다. [첨부4-12]
■ 조회한 연도가 달랐습니다
후기 항목에서 AI는 상상을 두고 "2025년 10월 3일~4일 예약 가능 여부 불확실"이라고 적었습니다. 제가 물어본 건 2026년 10월 3일입니다. 빌리 후기도 2025년 11월과 10월 것을 근거로 삼았습니다. 1년 전 날짜로 올해 예약 가능 여부를 판단한 셈입니다. [첨부2-05]
■ 거리는 순위가 뒤집혔습니다
AI는 잠실 기준으로 엠포레가 약 60km, 빌리가 약 70km라고 했고, 상상은 정확한 거리를 알 수 없으나 서울에서 다소 멀 수 있다고 했습니다. 잠실 출발, 10월 3일 오전 8시로 맞춰 세 번 조회했습니다.
상상 1시간 17분 [첨부4-13]
빌리 1시간 48분 [첨부4-14]
엠포레 2시간 17분 [첨부4-15]
가장 가깝다던 엠포레가 가장 멀었고, 멀 수 있다던 상상이 가장 가까웠습니다. 순위가 통째로 뒤집혔습니다.
정리하면 이렇습니다.
숙소 AI가 말한 것 실제 확인한 것
상상 가장 멀 수 있음, 45~60만원x3 1시간 17분, 한 채 75만원
빌리 가장 가까움, 두 채 140만원 1시간 48분, 한 채 75만원
엠포레 잠실에서 60km, 세 채 210만원 2시간 17분, 11인 검색 결과 없음
AI가 1등으로 꼽은 빌리와 꼴찌로 민 상상은 가격이 똑같이 75만원이었습니다. 다른 건 거리뿐이고, 그건 상상이 31분 더 가깝습니다. 인원을 한 명 덜 세고, 없는 객실로 견적을 내고, 남의 숙소 가격을 가져다 쓰고, 작년 날짜로 조회한 결과였습니다. 종합 검토라는 이름 아래에서요.
▶ 그래서 바꾼 것
각주 개수를 믿지 않고 각주 이름을 봅니다. 링크에 걸린 대상이 내가 물어본 대상과 같은지, 그 한 가지만 먼저 확인합니다.
■ 그래서 어디로 정했나
상상으로 정했습니다. AI가 꼴찌로 밀었던 곳입니다.
한 채가 3룸에 침대가 방마다 두 개씩이라, 가족당 한 방씩 들어가면 열한 명이 그대로 맞습니다. AI는 객실 세 개가 필요하다고 했는데 방 세 개가 한 채 안에 들어 있었습니다. 세는 단위를 잘못 잡은 겁니다.
거리도 잠실에서 31분 더 가깝습니다. 세 가족이 각자 다른 곳에서 출발하는 일정이라 그 31분이 작지 않았습니다.
AI 답만 따랐으면 빌리를 두 채 잡아 140만원을 썼을 겁니다. 실제로는 한 채 75만원을 썼습니다. 차액 65만원은 링크 열 개를 눌러본 값입니다.
────────────────────────
사례 3. 검색까지 했는데 문이 닫혀 있었다
시점이 지난 경우 / Claude / 2026년 8월
────────────────────────
국산 모델을 직접 써보고 싶어서 어디서 쓸 수 있는지 물었습니다. 답변 위에는 "웹 검색됨" 표시가 붙어 있었습니다. [첨부3-01]
내용은 정확했습니다. K-엑사원 2.0은 실제로 존재하는 모델이고 규모도 맞습니다. 일반인이 로그인만 하면 쓸 수 있는 채팅 페이지를 열어뒀다는 설명과 함께 주소가 붙어 있었습니다.
눌러봤습니다. 주소는 살아 있었지만 체험 서비스가 종료돼 있었습니다. 예전에는 사실이었던 문장이 현재형으로 남아 있던 셈입니다. [첨부3-02]
세 사례 중 이게 가장 얌전한 실수입니다. 모델 이름도 맞고 주소도 실재하고 검색까지 붙었습니다. 그래서 가장 안 걸러집니다. 검색이 붙었다고 최신인 것은 아니라는 게 이 캡처의 전부입니다.
▶ 그래서 바꾼 것
AI가 알려준 주소는 항상 열어보고 확인합니다. 그리고 최신 버전인지도 다시 한번 체크합니다.
────────────────────────
결론 — 세 번을 겪고 만든 개선 포인트
────────────────────────
세 번 다 어긋난 방식이 달랐습니다. 하나는 입장이, 하나는 출처가, 하나는 시점이 어긋났습니다. 그래서 확인할 것도 세 가지입니다.
[답을 받은 뒤 확인해 볼 것]
1. 입장 — 내가 흘린 조건을 따라 결론이 움직였나. 대화 앞부분과 끝부분의 결론이 같은지 본다.
2. 출처 — 각주에 걸린 이름이 내가 물어본 그 대상인가.
3. 시점 — 지금 시점에도 맞는 이야기인가. 주소가 있으면 눌러본다.
[물어볼 때 미리 붙이는 문장]
- 지금부터 조건을 하나씩 알려줄 텐데, 조건이 바뀌어도 앞에서 말한 판단 기준은 그대로 유지해 줘. 기준을 바꿔야 한다면 바꾸기 전에 왜 바꾸는지 먼저 말해 줘.
- 각 항목마다 어떤 출처의 어떤 대상을 근거로 삼았는지 이름을 함께 적어 줘. 내가 물어본 대상이 아닌 다른 대상의 정보라면 그 사실을 표시해 줘.
- 이 정보가 언제 기준인지 함께 알려 줘. 확인이 안 되면 확인이 안 된다고 말해 줘. 주소를 알려줄 때는 지금 접속되는지 확인하고, 모르면 모른다고 적어 줘.
세 번째 문장이 특히 잘 듣습니다. 모른다고 말할 자리를 미리 만들어 주면, 지어내는 대신 모른다고 답하는 쪽으로 자주 넘어옵니다.
────────────────────────
이 글을 읽을 때 꼭 참고할 점
────────────────────────
- 서비스 우열을 가리는 글이 아닙니다. 세 도구 모두 제가 계속 쓰고 있고, 사례 셋은 각각 다른 방식으로 어긋났을 뿐 어느 쪽이 낫다는 비교가 아닙니다.
- 시점을 함께 적었습니다. 전부 2026년 8월의 대화입니다. 모델은 계속 바뀌므로 지금 같은 질문을 하면 다른 답이 나올 수 있습니다.
- 함정을 파지 않았습니다. 세 건 모두 실제로 필요해서 물어본 질문이고, 틀리게 만들려고 꾸민 질문은 없습니다.
- 개인정보를 지웠습니다. 캡처에 들어간 이름, 저장 폴더명, 외부 링크는 가렸습니다. 숙소는 공개된 상호와 공개 예약 화면만 썼습니다.
- 확인은 원본에서 했습니다. 가격과 객실은 네이버 예약 화면, 소요시간은 네이버 지도 길찾기(잠실 출발, 10월 3일 오전 8시 기준), 모델 정보는 해당 페이지에서 직접 조회했습니다.
세 번을 겪고 나서도 저는 여전히 AI에게 먼저 묻습니다.
빠르고, 대체로 맞고, 혼자 검색하는 것보다 낫습니다. 달라진 건 답을 받고 30초 뒤, 저의 선택입니다.
그 30초에 에어프라이어 한 대와 여행 경비 65만원이 걸려 있었습니다.
두 번 다 AI가 내린 결론과 제가 내린 결론이 달랐습니다. AI를 덜 쓰게 된 게 아니라, 마지막 빈 칸을 채우는 사람이 '내'가 된 겁니다.
