목록으로
업무 생산성 개선을 위한 AI 활용
AI가 틀렸을 때 멈추는 법: 40개 산업이 39개로 내려온 날
👤 근거부터 📅 2026-10-27 👁 조회 68
AI의 분석을 그대로 믿지 않고 원본 파일, 해시, 공식 통계로 되짚어 오류를 찾아낸 데이터 검증 사례입니다.
제조업 연구개발 통계를 살펴보던 중 AI에게 먼저 질문했습니다. 화면에서는 세부산업 40개를 골랐는데 내려받은 엑셀에는 왜 39개만 있는지, 빠진 값이 전체 결과를 얼마나 바꾸는지 확인해 달라는 질문이었습니다.

AI는 처음에 표시값의 비중으로 누락 구간을 역산하자는 방법을 제안했습니다. 그럴듯했지만 바로 결론으로 쓰지 않고 원자료부터 다시 확인했습니다. ISTANS 엑셀을 그대로 보존하고 SHA-256 해시를 기록한 뒤, 실제 행·열·연도·결측치를 세었습니다. 그 결과 2008~2024년 수치 5,226개와 산업명 39개만 있었고, 화면에서 선택된 디스플레이(I3103) 행은 내려받은 파일에 없었습니다. 같은 조건으로 다시 조회해도 서버는 데이터가 없다는 안내를 반환했습니다.

여기서 추정을 멈추고 KISTEP 공식 통계로 교차검증했습니다. 2024년 제조업 연구개발비 94,162,480백만원과 연구원 321,477명이 양쪽 자료에서 정확히 일치했습니다. 반면 AI가 누락값이라고 추정한 값은 공식 총계와 맞지 않았습니다. 결국 분석 결과는 39개 산업 기준으로 다시 계산했고, 누락 산업을 임의로 복원하지 않았습니다.

이 경험 뒤에는 다섯 단계 규칙을 만들었습니다. 먼저 원본과 출처를 고정하고, 화면 선택 수와 실제 행 수를 비교합니다. 다음으로 AI 계산을 공식 총계와 대조하고, 모순이 생기면 기존 결과를 버립니다. 마지막으로 검증된 범위만 다시 계산하고 재현 명령과 중단 조건을 함께 남깁니다.

AI는 빠르게 가설을 세우고 확인 코드를 만드는 데 유용했지만, 정답을 대신하지는 못했습니다. 중요한 것은 AI가 자신 있게 말할 때도 사람이 원자료와 공식 통계로 멈춰 세울 수 있는 절차였습니다. 이 방식은 통계 분석뿐 아니라 보고서, 공고문, 회의자료처럼 숫자와 출처가 중요한 업무에도 그대로 적용할 수 있습니다.
← 목록