영어 시험을 준비하면서 ChatGPT로 지문 분석자료를 만들어 본 적이 있습니다. 문장구조, 어법, 단어, 내용 요약을 한 번에 정리해 주니까 처음에는 꽤 편했습니다. 직접 정리하는 것보다 빨랐고, 겉으로 보기에도 그럴듯했습니다.
그런데 몇 번 보다 보니 한 가지가 걸렸습니다. 제가 이미 아는 문법이면 이상한 설명을 알아챌 수 있지만, 처음 배우는 부분은 AI가 틀려도 그대로 외울 수 있겠다는 점이었습니다. 그래서 “AI도 가끔 틀린다” 정도로 넘기지 않고, 기존 학습자료와 실제로 비교해 보기로 했습니다.
비교할 때는 기준자료를 ChatGPT에 먼저 보여주지 않았습니다. 영어 지문만 주고 분석자료를 먼저 만든 뒤 PDF와 비교용 기록을 저장해 두었습니다. 나중에 기준자료를 보고 결과를 고쳐 맞추지 않기 위해서였습니다. 그다음에야 기준자료를 열어 AI가 잡은 내용과 빠뜨린 내용을 하나씩 비교했습니다.
처음에는 틀린 설명만 찾으려고 했는데, 해보니 그것만으로는 부족했습니다. 맞는 설명도 있었지만 기준자료에 있던 내용을 빼먹기도 했고, 반대로 기준자료에는 대응되는 내용이 없는 분석을 추가하기도 했습니다. 그래서 비교하면서 일치, 비슷한 기능, 과잉, 잘못된 분석, 누락으로 나눠 기록했습니다.
첫 번째 검증에서는 기준자료에서 비교 대상으로 잡은 80개 항목 중 33개가 AI 결과와 대응했습니다. 기준자료의 내용을 AI가 잡아낸 비율로 보면 41.25%였습니다. 또 AI가 만든 항목 가운데 평가할 수 있었던 53개 중 3개는 잘못된 분석이었고, 중요한 누락도 11개 있었습니다.
두 번째 지문에서도 비슷한 문제가 보였습니다. 평가 가능한 AI 항목 82개 중 30개, 36.59%는 기준자료에 대응되는 내용이 없는 추가 분석이었습니다. 또 be prone to ignore에서 ignore를 틀린 표현처럼 표시한 부분은 다시 대조해 보니 잘못된 분석이었습니다. 그대로 외웠다면 잘못 공부할 뻔했습니다.
이 과정에서 제일 의외였던 건 오답만큼이나 누락이 눈에 띄었다는 점입니다. AI가 만들어 준 자료만 봐서는 무엇이 빠졌는지 알기 어려웠습니다. 그래서 이후에는 “이 설명이 맞나?”뿐 아니라 “기존 자료에서 다뤘던 내용 중 빠진 것은 없나?”도 같이 확인하게 됐습니다.
다만 기준자료를 모든 내용의 절대적인 정답지로 둔 것은 아닙니다. AI가 기존 학습자료에서 무엇을 잡고 무엇을 놓치는지 비교하는 데 썼고, 문법적으로 틀린 분석은 따로 다시 확인했습니다.
이후 실제 학교 영어 시험 대비용으로 20번, 21번, 22번, 24번 네 지문의 분석자료도 다시 제작했습니다. 원문 분석, 문법·구문, 어휘, 한국어 내용 설명, 내용정리, 제목과 요약 등을 넣어 정리했습니다.
지금은 실제 공부할 때 매번 이런 식으로 비율까지 계산하지는 않습니다. AI로 자료를 만든 뒤 믿을 만한 해설이나 기존 학습자료와 비교하면서 틀린 설명이 있는지, 기존 자료에서 다룬 내용이 빠졌는지, 기존 자료에는 없던 분석이 많이 추가됐는지를 봅니다. 애매한 내용은 바로 외우기보다 다시 확인합니다.
이 검증만으로 영어 성적이 올랐다고 말할 근거는 없습니다. 다만 AI를 쓰는 방식은 달라졌습니다. 처음에는 AI로 공부자료를 잘 만드는 데 신경을 많이 썼는데, 직접 비교해 보니 만들어진 내용 중 뭘 믿고 걸러낼지도 같이 봐야 했습니다.
이 방법은 다른 학생도 AI로 만든 자료를 바로 외우기보다, 결과를 먼저 저장한 뒤 기존 학습자료나 믿을 만한 해설과 비교해 틀린 설명과 빠진 내용을 확인하는 방식으로 적용할 수 있습니다.