목록으로
생활 속 AI 활용
AI의 반복 실수를 기록하고, 인간 수정본과 비교해 오류 패턴을 제어 명령으로 바꾼 장기 협업 시스템입니다.
AI의 반복 실수를 기록하고, 인간 수정본과 비교해 오류 패턴을 제어 명령으로 바꾼 장기 협업 시스템입니다.
🤖 활용 AI 도구
Chat gpt
[공모 분야] 생활 속 AI 활용 [사례 제목] AI의 실수를 프롬프트로 바꿨다 - 반복 실패에서 만든 AI 장기 협업 운영체계 [활용한 AI 도구] ChatGPT [한 줄 소개] AI가 반복해서 틀리는 방식을 기록하고, 인간 수정본과 AI본을 다시 비교시켜 오류 패턴을 제어 명령으로 바꾼 장기 글쓰기 협업 시스템입니다. [활용 사례 내용] ① 어떤 상황에서 AI를 활용했나요? 저는 ChatGPT를 장편소설의 집필·수정에 장기간 활용하고 있습니다. 짧은 작업에서는 좋은 질문을 하면 좋은 답을 얻을 수 있었지만, 작업이 길어지고 설정과 수정 지시가 누적되자 다른 문제가 반복됐습니다. 앞선 지시를 취소하지 않았는데도 가장 최근 명령만 반영하거나, “검토해”라는 요청을 “수정해”로 받아들이거나, 제가 실제 경험이나 감상을 말했을 뿐인데 작품 대사와 설정으로 바꾸는 일이 생겼습니다. 한 오류를 고치면 이전에 지켜야 했던 조건이 다시 깨지기도 했습니다. 처음에는 더 길고 자세한 통합 프롬프트를 만들었습니다. 하지만 조건이 많아질수록 일부가 누락되는 경우가 생겼습니다. 그래서 질문을 바꿨습니다. “AI에게 어떻게 더 잘하라고 말할까?”가 아니라 “AI가 반복해서 틀리는 방식을 관찰해 작업 구조를 바꾸면 어떨까?”였습니다. ② 어떤 AI를 어떻게 활용했나요? 사용한 AI는 ChatGPT입니다. 단순히 원고를 생성하는 데만 쓰지 않고, 편집·비교 분석·오류 검수·정보 관리에 활용했습니다. 첫째, 복합 명령이 불안정할 때는 DOS 프로그램을 쓰듯 작업을 작은 단위로 나눴습니다. 한 가지 명령 → 결과 확인 → 다음 명령 → 마지막 전체 검수 예를 들어 여러 부분을 한꺼번에 고치지 않고, 문장 하나 삭제 → 확인 → 대사 하나 수정 → 확인 → 설정 확인 → 전체 검수 순서로 진행했습니다. 둘째, 반복되는 실수를 ‘오류 장부’에 기록했습니다. 여러 미취소 명령 중 최신 명령만 따라가는 문제는 ‘직전 명령 편향’, 검토·감상·배경 설명을 수정 지시로 오해하는 문제는 ‘발화 유형 오분류’로 이름 붙였습니다. 셋째, AI 결과가 마음에 들지 않을 때 단순히 “다시 써”라고 하지 않았습니다. 제가 직접 원하는 형태로 수정한 뒤 AI 버전과 제 수정본을 다시 ChatGPT에게 비교하게 했습니다. AI 출력 → 인간 직접 수정 → AI에게 차이 분석 → 반복 패턴 추출 → 새 제어 명령 생성 → 다음 작업에 재적용 이 과정을 반복하면서 “분석 요청이면 분석만 수행”, “명시적 실행 동사가 있을 때만 원문 수정”, “취소되지 않은 이전 명령은 계속 유효”, “한 항목씩 수정”, “수정 후 이전 조건까지 회귀 검증” 같은 규칙이 만들어졌습니다. ③ 활용 결과 어떤 변화가 있었나요? 가장 큰 변화는 AI가 실수하지 않게 된 것이 아닙니다. 실수를 다루는 방식이 달라졌습니다. 초기에는 오류가 생기면 다시 설명하고 다시 쓰게 하는 과정을 반복했습니다. 현재는 정보 확인 → 누적 명령 확인 → 사용자 발화 판정 → 실행 권한 확인 → 요청 범위만 실행 → 결과 역검수 순서로 작업합니다. 새 오류가 생기면 “AI가 또 틀렸다”로 끝내지 않고, 어떤 오류 유형인지 확인하고 기존 규칙으로 막을 수 있었는지 검토합니다. 기존 규칙으로 막지 못했다면 새 방지 규칙을 추가합니다. 즉, AI 오류를 없애려 하기보다 오류의 위치를 특정하고, 반복 패턴을 발견하고, 다음 작업에서 같은 실수를 줄일 수 있는 구조를 만들었습니다. ④ 나만의 방식 또는 개선 포인트는 무엇인가요? 제 방식의 핵심은 ‘완벽한 프롬프트 하나’를 만드는 것이 아닙니다. AI가 실제로 실패한 기록을 다음 프롬프트의 재료로 사용한다는 점입니다. 실패 발생 → 반복 여부 확인 → 오류 패턴 분류 → 오류에 이름 부여 → 방지 명령 작성 → 재적용 → 재발 시 명령 보강 특히 인간이 직접 수정한 결과를 다시 AI에게 보여주고 자기 출력과 비교하게 한 점이 중요했습니다. 사람의 교정을 일회성 수정으로 버리지 않고, AI가 반복하는 설명 과잉·임의 추가·지시 누락 같은 패턴을 찾아내는 비교 자료로 사용했습니다. 또한 AI 모델 자체를 재학습시킨 것처럼 표현하지 않습니다. 모델의 내부 파라미터를 바꾼 것이 아니라, 사용자가 AI의 선택 범위와 실행 권한을 좁히고 작업 상태를 외부 규칙으로 관리한 것입니다. 제가 만든 원칙을 한 문장으로 표현하면 이렇습니다. “AI에게 더 잘 기억하라고 요구하는 대신, AI가 틀릴 수 있는 선택 자체를 줄인다.” ⑤ 다른 사람도 따라 할 수 있나요? 가능합니다. 처음부터 긴 프롬프트를 사용할 필요가 없습니다. 1. AI에게 한 번에 하나만 시킵니다. 2. 결과가 마음에 들지 않으면 직접 한 번 수정해 봅니다. 3. AI의 답과 내가 고친 답을 다시 AI에게 비교시킵니다. 4. 같은 실수가 반복되면 그 실수에 이름을 붙입니다. 5. 그 실수를 막는 한 줄짜리 명령을 만듭니다. 6. 다음 작업에서도 적용하고 마지막에는 이전 조건까지 다시 검수합니다. 이 과정을 반복하면 다른 사람이 만든 프롬프트를 복사하는 데서 끝나지 않고, 자신의 업무·학습·창작 방식에 맞는 AI 운영 규칙을 만들 수 있습니다. 저에게 좋은 프롬프트는 멋진 답을 한 번 만들어 주는 주문이 아닙니다. AI가 틀렸을 때 무엇이 잘못됐는지 찾을 수 있고, 그 실패를 다음 사용법의 개선으로 바꿀 수 있는 운영 절차입니다. [첨부 증빙 - 최종 5개] 1. AI활용사례_증빙자료_제출확정.pdf 2. jpg - 최신 명령 편향·검토/수정 혼동 실제 화면 3.jpg - 반복 오류 4종 분류 실제 화면 4.jpg - 누적 명령 확인·발화 판정·실행 권한·역검수 작업 순서 실제 화면 5~6.jpg - 회귀 검증·최종 안전 원칙 실제 화면 ※ PDF는 증거의 의미와 오류→제어 명령의 연결을 설명하고, JPG 5개는 원본 기록 자체를 제시합니다.